Apache Superset - 데이터 탐색 및 시각화 플랫폼

• Apache Superset는 데이터 탐색과 시각화를 한곳에서 처리하는 오픈소스 분석 플랫폼으로, 다양한 숙련도의 사용자가 차트와 대시보드로 데이터를 다룰 수 있게 함
• 노코드 시각화 빌더와 SQL IDE를 함께 제공해, 비즈니스 사용자와 SQL 사용자가 각자의 방식으로 데이터를 탐색할 수 있음
• SQL 기반 데이터베이스와 연결되며, 페타바이트 규모의 클라우드 네이티브 데이터베이스와 엔진도 활용할 수 있음
• 기존 데이터 인프라 위에서 동작하는 경량·확장형 구조를 지향하며, 별도의 수집 계층을 요구하지 않음
• 40개 이상 시각화, 플러그인 기반 확장, 캐싱, Jinja 템플릿, 대시보드 필터, 시맨틱 레이어로 셀프서비스 분석 흐름을 지원함

---

데이터 탐색과 시각화 플랫폼

• Apache Superset™ 는 오픈소스 데이터 탐색 및 시각화 플랫폼임
• 빠르고 가볍고 직관적인 사용성을 내세우며, 단순한 선형 차트부터 상세한 지리공간 차트까지 다양한 시각화를 지원함
• 사용자는 노코드 시각화 빌더 또는 SQL IDE를 통해 데이터를 탐색할 수 있음
• SQL 기반 데이터베이스에 연결할 수 있고, 현대적인 클라우드 네이티브 데이터베이스와 페타바이트 규모 엔진도 대상에 포함됨
• 기존 데이터 인프라를 활용하는 경량·고확장 아키텍처를 갖추며, 추가 수집 계층이 필요 없음
• 40개 이상의 사전 설치 시각화 유형을 제공하고, 플러그인 아키텍처로 커스텀 시각화도 만들 수 있음

역할별 문서와 커뮤니티

• User Docs: 분석가와 비즈니스 사용자를 위한 문서로, 데이터 탐색, 차트 작성, 대시보드 생성, 데이터베이스 연결을 다룸
• Administrator Guide: Superset 설치와 운영을 맡는 팀을 위한 문서로, 설치, 설정, 보안, 데이터베이스 드라이버를 다룸
• Developer Guide: Superset에 기여하거나 기반 기능을 개발하는 엔지니어를 위한 문서로, REST API, 확장, 기여 워크플로를 다룸
• Community: Slack, GitHub, 메일링 리스트, 예정된 밋업 등 커뮤니티 리소스를 제공함

셀프서비스 분석 기능

• Superset는 대시보드, Chart Builder, SQL Lab, Datasets를 통해 대화형 대시보드에서 데이터를 탐색하고 인사이트를 찾는 흐름을 지원함

• 시각화와 대시보드 작성

  • 40개 이상 사전 설치 시각화를 제공함
  • 드래그 앤드 드롭과 SQL 쿼리를 모두 지원함
  • 차트와 대시보드 로딩 시간을 줄이기 위한 데이터 캐싱을 제공함
  • Jinja 템플릿과 대시보드 필터로 대화형 대시보드를 구성할 수 있음
  • CSS 템플릿으로 브랜드의 룩앤필에 맞게 차트와 대시보드를 꾸밀 수 있음

• 분석 확장 기능

  • SQL 데이터 변환을 위한 시맨틱 레이어를 제공함
  • cross-filter, drill-to-detail, drill-by로 더 깊은 데이터 분석을 지원함
  • 임시 데이터 탐색에는 virtual datasets를 활용할 수 있음
  • feature flags를 통해 새 기능에 접근할 수 있음

사용 조직

• Superset는 데이터를 탐색하고 시각화하는 데 사용하는 수천 개 회사가 있다고 밝힘
• 사용 조직 예시로 Xnet Mobile, UserGuiding, Preset, PlaidCloud, VLMedia, Cirrus Assessment 링크가 표시됨

[GN⁺]

Hacker News 의견들

• Superset을 아주 만족스럽게 썼고, Tableau를 대체한 뒤 돌아갈 생각이 없어짐
  Superset Embedded SDK로 앱에 임베드하는 방법을 파악하는 데는 시간이 좀 걸렸음. 이 SDK는 앱의 인증을 사용해 Superset 대시보드를 자체 앱에 넣을 수 있게 해주며, Superset 페이지가 담긴 iframe을 호스트 앱에 삽입하는 방식임
  https://github.com/apache/superset/tree/master/superset-embe...
  Superset은 품질이 높고 잘 관리되는 차트 라이브러리 ECharts 기반임
  https://echarts.apache.org/examples/en/#chart-type-linesG
  커뮤니티 로드맵도 공개돼 있음
  https://github.com/apache/superset/projects?query=is%3Aopen
  Preset.io와 팀이 프로젝트에 기여하고 좋은 상태로 유지하는 데 큰 존경심이 듦
  https://preset.io/blog/
  Superset 소스 코드는 읽고 이해하기 쉬워서, 차트 부하를 줄이는 고급 캐싱 기법도 구현 가능함. 완벽한 BI는 없지만, 몇 년간 지켜본 결과 앞으로도 의도대로 동작할 프로젝트라는 신뢰가 생겼고, 언젠가는 일부 패키지가 다양한 시각화와 데이터 해킹에 재사용될 수 있어 보임
  시각화는 우선 ECharts와 간단한 React 래핑으로 시작하고, 파워 유저용으로 서브도메인에 Superset을 띄운 뒤 어느 쪽이 더 잘 맞는지 보는 접근을 주로 씀. 같은 외형을 유지하면 사용자 경험이 꽤 좋음

  • 오픈소스 BI 도구 Evidence에서도 ECharts를 쓰고 있는데 훌륭한 라이브러리임. 버전 관리 가능한 시각화 선언 문법을 만드는 데 큰 도움이 됐음
    https://evidence.dev
    이전 HN 토론: https://news.ycombinator.com/item?id=35645464 (댓글 97개)
  • 데이터 가시성과 권한은 어떻게 처리하는지 궁금함. 대부분의 테이블에는 특정 사용자나 그룹 ID만 봐야 하는 데이터가 있고, 보통 그 계층은 애플리케이션이 담당함. Superset의 기능을 사용자에게 노출하면 좋겠지만, 보안 계층을 만드는 게 꽤 고생스러울 것 같음
  • ECharts는 훌륭함. https://github.com/openobserve/openobserve에서 몇 달간 Plotly를 쓰다가 ECharts로 옮겼고, 매우 만족 중임
  • 이런 앱들이 그래프 같은 것을 SVG 임베딩으로 제공하기 시작하면 좋겠음. iframe은 너무 번거로움
  • Superset은 써본 적이 없음. Tableau보다 뛰어나다고 보는 지점을 몇 가지 더 설명해줄 수 있는지 궁금함

• 몇 년 전에 Superset을 써봤고 지금은 달라졌을 수도 있지만, 직관적이라는 말은 가장 마지막에 붙이고 싶음
  다른 BI 도구라면 몇 분 안에 알아낼 일을 Superset에서는 말 그대로 몇 시간씩 찾아야 했음. 중간에 핵심 개념 이름을 바꿔버려서 온라인 문서 절반이 말이 안 맞게 된 것도 도움이 안 됐음. 당시 같이 써본 회사 동료들도 비슷하게 느꼈음

  • Superset은 사용도 설정도 직관적이지 않았음. 결국 Metabase를 세웠는데, 단일 jar로 실행할 수 있어 시작이 아주 쉬웠기 때문임
    비즈니스 사용자들도 좋아했고 나도 만족했으며, 내부 h2 데이터베이스 대신 Postgres 백엔드를 붙여 관리하는 것도 수월했음
  • 솔직히 말해, 대부분의 Apache 프로젝트를 설명할 때 직관적이라는 단어는 가장 마지막에 쓰게 됨
  • Superset에서 비슷한 경험을 했음. Metabase가 더 낫다는 말에 동의하지만, 데이터에 대한 다른 접근을 찾는다면 Definite(https://www.definite.app/)도 볼 만함. “상자 안의 데이터 스택”에 가까움
    내장 데이터 웨어하우스로 DuckDB 데이터베이스를 띄워 데이터를 적재할 수 있고, 500개 이상의 커넥터로 별도 ETL 없이 Postgres, Stripe, HubSpot, Zendesk 같은 데이터를 자동으로 가져올 수 있음
    의미 계층에서 차원, 측정값, 조인을 한곳에 정의하며, 지원하는 소스마다 사전 구축 모델도 있음. 예를 들어 Stripe 모델에는 MRR, 이탈률 같은 측정값이 이미 들어 있음
    단순한 BI 방식으로 원하는 데이터 테이블을 만들고, 그 테이블에서 시각화를 생성함. 질문이 있으면 [e-mail]으로 연락 가능함
  • Superset을 잠깐 만져보고 있는데 동의함. SQL에서는 쉬운 일이 Superset에서는 불안할 정도로 어렵거나 불명확함
    문서도 좋게 말해도 빈약한 편임
  • 내가 썼을 때는 빠르지도 않았음
    대신 수십 개의 Python 런타임 오류와 셀 수 없는 결함으로 가득했음. 지금은 Metabase가 정답에 가까움

• Superset이나 Metabase 같은 완전한 BI 도구는 의도한 사용 사례에서는 훌륭함
  하지만 주된 용도가 비기술 최종 사용자를 위해 가끔 반쯤 상호작용 가능한 보고서를 만들고, 표준 그래프와 표로 대부분 충분한 경우라면 과할 수 있음. 특히 SQL에 익숙하고 원본 데이터 소스에 접근할 수 있다면 더 그렇다
  이런 경우 SQLPage와 Evidence가 아주 유용했음. SQL을 빠르게 작성해 깔끔하고 전문적으로 보이는 웹 UI로 바꿔 최종 사용자에게 전달하기 편함. Evidence는 정적 생성 사이트이고, SQLPage는 실시간 데이터베이스에 연결되는 웹 앱임
  SQLPage: https://sql.ophir.dev/
  Evidence: https://evidence.dev

• Superset을 좋아함
  2017년부터 두 직장에서 운영 환경에 올려 썼고, 지금 직장은 큰 기업임
  범용 데이터베이스 기반 대시보드 시스템으로는 최고라고 봄. Tableau나 Power BI에 돈을 낼 생각은 없음
  Airflow도 마찬가지임

  • Airflow도 마찬가지라는 게 무슨 뜻인지 잘 모르겠음

• Wikipedia의 Superset 인스턴스를 사용하면 Wikipedia 내부 데이터베이스를 질의할 수 있음
  https://superset.wmcloud.org
  https://phabricator.wikimedia.org/T169452
  예전에 이걸로 맞춤 통계를 만들었음
  https://github.com/altilunium/wikiidmon

• 관련 글들임. 다른 것도 있는지 궁금함
  Open source Business intelligence platform made with Python - https://news.ycombinator.com/item?id=29368664 - 2021년 11월 (댓글 49개)
  Apache Superset 1.1 - https://news.ycombinator.com/item?id=27439939 - 2021년 6월 (댓글 28개)
  The Apache Software Foundation Announces Apache Superset as a Top-Level Project - https://news.ycombinator.com/item?id=25905277 - 2021년 1월 (댓글 1개)
  Apache Superset is an enterprise-ready business intelligence web application - https://news.ycombinator.com/item?id=21133931 - 2019년 10월 (댓글 7개)

• Superset은 강력하지만 왜 사소한 불편을 고치지 않는지 궁금함. 예를 들면 스피너 픽셀이 어긋나 있거나, 테이블 셀 값을 복사할 수 없거나, 테이블 숫자에 고정폭 글꼴을 쓰지 않는 것 같은 부분임. 제품 안에 이런 작은 짜증이 수백 개 있음

  • 고치려고 노력 중임. 불편한 부분이 있다면 물론 PR과 이슈도 받고 있음
    사람들이 요구하는 새 기능을 만들지, 계속 생기는 이런 외관 문제를 고칠지 사이에서 늘 균형을 잡아야 함

• Superset과 Metabase를 둘 다 써본 사람이 있는지 궁금함. 몇몇 프로젝트에서 Metabase를 썼고 꽤 좋았음. Superset은 더 강력해 보이기도 함
  작은 데이터셋 BI에도 쓸 만한 가치가 있는지 궁금함

  • 지금 회사에서는 Metabase를 쓰고 있고, Superset도 몇 년 전 기준으로 꽤 경험해봤음
    Metabase를 고른 이유는 테이블 조인이 있었기 때문임. 내가 썼을 때 Superset에는 조인이 없었고, 이후 추가됐는지는 모르겠음. 외형도 Metabase가 조금 더 세련돼 보임
    그래도 개인적으로는 Superset을 훨씬 선호함. Metabase는 쓸 만하게 만들려면 많은 기능을 꺼야 했고, “the_table”을 “The Table”로 바꿔 보여주는 것부터 모델과 “질문” 사이의 불투명함까지 계속 거슬렸음. 질문을 바꾸려 할 때마다 새 질문을 만들려고 하는 것도 짜증났음
    특히 많은 질문의 데이터 소스를 바꾸려 할 때, Metabase가 새 질문을 만들지 않고 깔끔하게 바꾸는 방법이 없어서 문제가 컸음
    또 Metabase는 돈을 내고 직접 호스팅해야만 직렬화가 가능함. 직접 호스팅하는데 정확히 무엇에 돈을 내는 건지 모르겠고, 꽤 거슬림
    https://www.metabase.com/docs/latest/installation-and-operat...
    그래도 테이블 조인은 가능함. 때로는 그거 하나만으로 Metabase를 감수할 가치가 있음
  • 약 60일 전에 썼던 내용을 다시 옮기면, 최근 Superset, Metabase, Lightdash를 간단히 비교해봤고 셋 다 오픈소스이며 호스팅 옵션이 있음. 모두 만만치 않은 약점이 있었지만 결국 Lightdash를 골랐음
    Superset은 데이터 시각화만 놓고 보면 가장 낫지만, 기존 별모양 스키마가 있는 상태에서 비즈니스 사용자의 셀프서비스 BI로 쓰기에는 거의 쓸모없다고 느꼈음. Superset에서 조인을 어떻게 할지에 대한 이 이슈는, stalebot이 난장판을 만드는 것까지 포함해 Superset BI의 어려움을 한눈에 보여줌
    https://github.com/apache/superset/issues/8645
    Metabase는 꽤 훌륭하고, 저비용 BI를 빨리 구축하려는 스타트업에는 확실히 맞는 선택임. 여전히 테이블 중심 관점이 강하지만, 단순 시각화보다는 BI를 위해 만들어졌다는 느낌이 듦
    Lightdash는 YAML, 프런트엔드에서 하는 피벗, 대칭 집계 부재 같은 흠이 크지만 Looker의 영향을 분명히 받았고, 비즈니스 사용자에게 바로 쓸 수 있는 테이블 그룹을 제시하기 쉬움. Google이 인수하기 전 Looker를 좋아했는데, 우리 비즈니스 사용자들은 별모양·눈송이 스키마라는 용어는 몰라도 그런 구조에는 익숙했고 기존 데이터 웨어하우스 위에 Lightdash를 얹기 쉬웠음
  • 솔직히 Metabase가 Superset보다 사용자 친화적임. 대신 Superset은 훨씬 더 자유로운 라이선스를 갖고 있어서, Superset을 커스터마이즈하거나 데이터 앱을 만들려는 사람에게 이상적임
  • Metabase는 좋음. Oracle Database와 함께 쓰고 있음

• 회사에서 Metabase를 많이 쓰고 있음. 그런데 이런 도구들이 모두 약해 보이는 지점은 수백 개의 대시보드와 질문을 정리하는 방식임
  내장 위키 같은 게 있어서 탐색 구조를 더 잘 만들 수 있으면 좋겠음. 좋은 방법을 아는지 궁금함

  • 완전히 동의함
    도움이 되는 방법 하나는 Metabase를 자기 자신의 데이터베이스에 연결해서, 쿼리에 대한 쿼리를 만드는 것임
    select *
from report_card
where dataset_query ilike '%' || {{query}} || '%'
    작성자나 마지막 실행 시각 같은 메타데이터도 조인할 수 있음
    Collection 디렉터리 구조도 깨끗하고 일관되게 유지하려고 정말 노력하지만, 그래도 여전히 어렵음
  • https://datahubproject.io/integrations를 한번 봐도 좋을 듯함. 오늘 처음 들었지만 꽤 유망해 보임. LinkedIn에서 분리된 오픈소스이고, Metabase를 포함해 통합도 많음
  • 이걸 보니 아이디어가 떠오름. Metabase SQL 쿼리를 결과나 쿼리 자체의 유사도로 묶을 수 있지 않을까 싶음
    또 다른 방법은 LLM으로 쿼리를 요약·태깅·그룹화해서 찾기 쉽게 만드는 것일 수 있음

• 혼자 데이터 분석을 하는 경우에도 Superset이 괜찮은 도구인지 궁금함
  예를 들어 sqlite 데이터베이스 몇 개가 있고, 쿼리와 차트를 개발하고 싶을 뿐임. Tableau, Power BI, Superset을 찾아봤는데 전부 단일 사용자에게는 꽤 무거워 보였고, 로컬 설정도 아주 쉬워 보이지 않았음
  단일 사용자용으로 좋은 소프트웨어나, 이런 무거운 도구를 더 편하게 실행하는 방법이 있으면 추천받고 싶음

  • 데이터 분석을 하는 거라면 언급한 세 도구가 그다지 도움이 될 것 같지는 않음
    이런 제품들은 준비된 데이터셋을 사용자에게 보기 좋게 보여주는 데이터 시각화와 보고 도구에 가깝다고 봄. 진지한 분석에는 덜 적합함
    Superset이나 Tableau는 잘 모르지만 Power BI는 조직 전체에 도입돼 있어서 익숙함. Power BI로 할 수 있는 통계는 꽤 기초적임. 개수, 평균, 최솟값, 최댓값 같은 요약을 넘어서면 그리 쉽지 않음
    데이터 분석에는 SAS나 R을 씀. 이런 소프트웨어는 다변량 회귀, 시계열 예측, 주성분 분석, 군집 분석 같은 작업을 할 수 있고 그래프 기능도 있음
    둘 다 약간 구식이긴 함. 2000년대 초부터 써왔고, 요즘 방식은 Python인 듯함. 우리 조직의 최근 데이터 과학 인력은 거의 모두 Python을 쓰며, 특히 Pandas와 Seaborn(https://seaborn.pydata.org/) 같은 라이브러리를 많이 씀
    우리 조직의 Power BI 파워 유저는 대체로 재무나 HR 쪽이고, 비용 수치를 드릴다운하거나 KPI와 주요 지표를 경영진에게 상호작용적으로 보여주는 용도로 많이 씀
  • Tableau가 셋 중 가장 좋고, 가장 강력하며, 가장 성숙했고, 기능도 가장 완성도 높으며, 사용도 가장 쉬움. 30일 체험판을 제공하는 것으로 앎
    단일 사용자 애플리케이션으로 쓸 수 있고, 빌드한 애플리케이션의 일부로 넣지 않는 한 그렇게 쓰면 됨