▲

GN⁺: 셀프 서비스 대시보드가 작동하지 않는 이유

(briefer.cloud)
3P by neo 3달전 | favorite | 댓글 1개
  • "self-serve dashboards"는 실제로는 잘 작동하지 않음. 엔지니어나 데이터 과학자가 비즈니스 사용자를 위해 쿼리를 작성하고 대시보드를 준비하는 데 많은 시간을 소비하게 되기 때문임.

"self-serve BI"가 작동하지 않는 이유

  • SQL이 유일한 "self-serve BI" 도구임. 하지만 대부분의 "self-serve BI" 공급 업체는 SQL을 다른 것으로 위장하려고 함.
  • SQL 쿼리 작성이 비즈니스 이해 관계자가 데이터를 쿼리하는 유일한 장벽이 아님. 데이터의 의미, 출처, 계산 방식을 이해하지 못하고 결과를 해석하고 검증하는 방법을 모름.

시도 1: 기존의 "드롭다운 및 확인란" 접근 방식

  • 이 인터페이스는 "SQL-by-mouse"를 시도한 것에 불과함. SQL보다 나을 것이 없고 오히려 더 느리고, 신뢰할 수 없고, 제한적이며 다른 도구로 일반화할 수 없음.
  • CFO와 같은 사람은 이 인터페이스를 사용하여 데이터를 쿼리하지 않을 것임. 데이터를 이해할 수 있는 맥락이 없고 결과에 대해 확신할 수 없기 때문임.

시도 2: text-to-SQL 접근 방식

  • LLM은 자연어를 SQL로 번역하는 데 거의 너무 효과적임. 질문이 맞지 않아도 쿼리를 생성하려고 할 것임.
  • 기술자는 질문이 맞지 않다는 것을 알아차리고 더 많은 맥락을 요청할 것임. 사용 가능한 데이터 유형을 설명하고 정확하고 유용한 질문을 만들기 위해 비즈니스 담당자와 협력할 것임.
  • LLM이 "self-serve BI"의 실제 솔루션이 될 수 있지만, 현재 형태로는 안 됨. 더 많은 맥락이 필요하고 불확실성을 표현하고 더 많은 정보를 요청하는 데 더 능숙해져야 함.

실제로 작동하는 것

  • "self-serve BI"의 문제는 SQL이 아니라 데이터의 맥락과 의미임. 해결책은 인터페이스에 관계없이 사람들에게 쿼리하는 데이터에 대해 가르치는 것임.
  • 기술팀에게 모든 지식을 문서화하는 것은 상당한 오버헤드를 발생시키고 빠르게 구식이 됨.
  • "self-serve BI"의 진정한 해결책은 비기술 사람들을 위해 BI를 "self-serve"로 만드는 것이 아니라, 기술 사람들이 더 나은 도구를 사용하여 비즈니스 이해 관계자를 더 효율적으로 지원하도록 하는 것임.

더 나은 도구에 대한 제안:

  1. LLM을 비즈니스 이해 관계자가 아닌 기술자에게 제공함.
  2. Python, R 등 편한 도구를 사용하여 데이터를 자유롭게 다룰 수 있도록 함.
  3. 기술자가 작업 내용을 쉽게 공유할 수 있도록 함. 노트북과 내부 데이터 애플리케이션은 컨테이너, 종속성, 인프라를 다뤄야 해서 공유하기 어려움.
▲
neo 3달전  [-]
Hacker News 의견

  • BI 도구의 문제점: BI 도구를 사용하면서 쿼리의 조인 방식이 잘못 설정되어 데이터가 잘못 표시된 경험이 있음. SQL을 잘 모르는 사람들을 위한 추상화 계층에 대한 신뢰를 잃게 됨.

  • Text-to-SQL의 유용성: 개발자에게는 여전히 유용하지만, 비개발자에게는 데이터베이스 구조를 제대로 이해하지 못해 잘못된 쿼리를 생성할 가능성이 있음.

  • 기관의 무능함: BI 도구와 AI 도구의 오류와 잘못된 정보가 포함된 보고서가 실제로 사용되고 있으며, 이는 Dilbert 만화에서 비슷하게 비판된 바 있음.

  • 비즈니스 사용자의 학습 가능성: 비즈니스 사용자가 데이터 모델과 드롭다운의 관계를 이해할 수 없다는 가정은 잘못됨. 데이터 모델러가 도메인을 잘 이해하지 못해 문제가 발생함.

  • 데이터 제공 경험: 24년간 데이터 제공 경험을 통해, 소수의 사용자만이 도구를 실제로 사용하며, 경영진은 KPI 대시보드를 선호함.

  • Metabase의 장점: Metabase는 BI 도구 중에서도 좋은 인터페이스를 제공하며, GUI로 생성된 SQL을 순수 SQL로 변환할 수 있어 기술 수준이 낮은 사람들도 쉽게 사용할 수 있음.

  • 자체 서비스 BI의 한계: 자체 서비스 BI의 한계를 인식하고, SQL을 비즈니스 사용자에게 노출시키지 않는 맞춤형 대시보드를 만드는 것이 해결책임.

  • Metabase 사용 경험: Metabase를 사용하면서 '오피스 아워'를 통해 비기술 사용자에게 사용법을 교육한 결과, 많은 요청이 엔지니어링 팀으로 넘어가지 않게 됨.

  • SQL 사용의 아이러니: 고위 관리자가 SQL 쿼리를 실행하지 못하는 상황이 아이러니함. SQL은 원래 관리자가 데이터를 쉽게 쿼리할 수 있도록 만들어진 것임.

  • ETL의 어려움: BI보다 ETL에서 비기술 사용자가 데이터를 다루는 것이 더 어려움. AWS Glue를 개발하면서 기술 사용자가 문제를 디버깅할 수 있는 도구가 필요함을 깨달음.

답변달기