Datasette Cloud: Datasette용 SaaS 호스팅 플랫폼

 (datasette.cloud)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Datasette Cloud는 오픈소스 Datasette를 팀용 SaaS로 호스팅해, 비공개 공간에서 데이터를 공유하고 필요한 데이터만 외부에 공개할 수 있게 함
  • 초기 초점은 뉴스룸으로, 기자가 직접 서버를 설정·운영하지 않아도 팀 내부와 대중에게 데이터를 배포할 수 있도록 돕는 데 있음
  • 각 팀은 가까운 리전의 비공개 space를 만들고, Fly.io 기반 보안 컨테이너와 space-name.datasette.cloud 서브도메인을 받음
  • CSV, URL, Socrata 기반 정부 오픈데이터, SQLite 파일, Datasette Write JSON API로 데이터를 가져오고 웹 UI에서 바로 편집할 수 있음
  • 향후 AI 보조 쿼리, 선택한 테이블·쿼리 공개, 데이터 주석, 가격 책정이 추가될 예정이며, 현재는 Zoom 데모 예약이나 프리뷰 접근 요청으로 시작함

팀용 비공개 데이터 협업 공간

  • Datasette Cloud는 Datasette 오픈소스 프로젝트를 위한 SaaS 호스팅 플랫폼임
  • 팀은 데이터를 다루는 비공개 space를 만들고, 구성원끼리 안전하게 공유한 뒤 일부 데이터를 외부에 공개할 수 있음
  • 초기 사용자는 뉴스룸에 맞춰져 있음
    • Datasette는 데이터 저널리즘에서 출발했음
    • 기자가 자체 호스팅 제공자에서 Datasette를 직접 설정·운영하지 않아도 데이터를 공유할 수 있게 하는 것이 목표임
  • 기자 외의 회사와 조직도 Datasette Cloud를 사용할 수 있음
  • Datasette를 처음 접하는 사용자는 오픈소스 프로젝트 웹사이트에서 비디오 데모와 튜토리얼을 볼 수 있음

데이터 가져오기와 접근 방식

  • 각 space는 사용자와 가까운 리전에 호스팅되며, Fly.io 기반의 독립된 보안 컨테이너에서 실행됨
    • 각 space는 space-name.datasette.cloud 서브도메인을 가짐
    • space 관리자는 추가 멤버를 초대할 수 있음
  • 팀 멤버는 여러 경로로 데이터를 가져올 수 있음
    • CSV 파일 업로드로 테이블 생성
    • URL에서 CSV 파일 로드
    • Socrata 기반 정부 오픈데이터 포털에서 가져오기
    • SQLite 데이터베이스 파일 업로드로 새 데이터베이스 생성
    • Datasette Write JSON API를 사용한 데이터 가져오기
  • 가져온 데이터는 Datasette Cloud 웹 인터페이스에서 인라인 편집할 수 있음
  • 데이터 탐색과 API 접근에는 Datasette의 기존 도구를 활용함
    • 필터링, 패싯, SQL 쿼리 실행, 결과 북마크를 지원하는 Datasette 웹 인터페이스
    • Exploring a database with Datasette에서 튜토리얼과 라이브 데모를 볼 수 있음
    • Learn SQL with Datasette는 SQL로 데이터를 질의하는 방법을 안내함
    • 세밀한 API 토큰으로 보호되는 JSON API로 테이블 접근과 SQL 쿼리 실행 가능
    • datasette-graphql 플러그인 기반 GraphQL API로 표 형식 데이터에 접근 가능
  • 모든 데이터는 Fly volumes에 안전하게 저장되고, Litestream을 사용해 S3에도 백업됨

예정된 기능과 시작 방법

  • 곧 추가될 기능은 다음과 같음
    • AI 보조 쿼리: OpenAI ChatGPT, Anthropic Claude, Google Bard의 기반 기술인 대규모 언어 모델을 기자의 데이터 탐색에 책임 있게 적용하는 방법을 연구 중이며, llm.datasette.io에서 확인 가능
    • 선택한 테이블과 쿼리를 외부에 공개하는 기능
    • 팀이 열과 행에 댓글을 추가해 데이터 분석 협업과 데이터 속 이야기 찾기를 돕는 데이터 주석
    • 제품 비용을 지불할 수 있게 하는 가격 책정
  • 사용자는 Zoom 데모 세션을 예약해 초기 사용자 중 하나가 되거나, 데모 없이 프리뷰 접근을 요청할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Datasette를 내부에 배포해서 일반 사용자에게 공유하거나 소비시키기엔 너무 큰 연구 데이터(100MB~20GB)를 많이 호스팅하는 데 성공했음
    예전에는 아주 높은 수준의 요약과 몇 가지 데이터 포인트만 공유하거나, 최소한의 Django 앱을 만들거나, Metabase 같은 훨씬 무거운 솔루션을 써야 했음
    중간 규모 데이터가 되면 이메일로 결과를 돌릴 수 없고, 네트워크 공유나 SharePoint 같은 고객이 익숙한 방식에도 한계가 있으며, 보통 사용자는 Excel밖에 못 써서 데이터가 크면 바로 막힘
    이제는 어느 정도 처리된 거의 모든 데이터를 제공하고, 몇 가지 뷰와 5분 미만 튜토리얼(“이건 Super Excel이고, 이렇게 필터링하면 됩니다”)만 주면 사용자가 직접 탐색함
    첫 배포 후 로그를 보니 평범한 연구인데도 사용자가 시스템을 엄청 두드리고 있었고, 예전엔 귀찮게 하기 싫어서 묻지 못했던 상세 질문이 얼마나 많았을지 생각하게 됨. Datasette 이후 질문은 기본적인 건 스스로 해결한 뒤라 훨씬 더 정교해졌음

    • 정말 훌륭한 성공 사례이고, 이런 사례 연구를 모아야겠다는 생각이 듦
      “이건 Super Excel이고, 이렇게 필터링하면 됩니다”라는 표현이 특히 마음에 듦

  • Datasette라는 이름은 몇 번 들었지만 어디에 쓰는지 제대로 알아본 적은 없었음
    랜딩 페이지 영상이 설명을 아주 잘해 주는데, 이런 경우가 흔치 않음
    Simon과 프로젝트 전체가 축하받을 만하고, 클라우드 서비스도 잘되길 바람

    • 영상이 어디 있는지 모르겠음. 블로그 글이나 홈 페이지를 눌러 봐도 보이지 않음

  • Datasette는 HN에서 꽤 알려진 Simon Willison의 오픈 프로젝트이고, 이번 건 수익화 프로젝트처럼 보임. 잘되길 바라며 Softbank가 곧 인수하길 바람 :-)
    SQLite 파일을 감싸서 쉽게 발행하게 해 주는 도구에 가깝고, SQLite용 Tableau 같은 느낌일 수 있음

    • Softbank가 목표는 아님
      Datasette는 내 커리어 전체에서 처음으로, 15년 뒤에도 계속 작업하고 있어도 지루하지 않을 것 같은 프로젝트임. 핵심 아이디어로 만들 수 있는 흥미로운 응용 범위가 정말 넓음
      그래서 수십 년 동안 작업하고 싶지만, 혼자 하는 건 외롭고 커뮤니티가 커지고 즐겁긴 해도 풀타임 팀과는 다름
      지금 풀려는 문제는 프로젝트를 장기적으로 재정적으로 지속 가능하게 만드는 방법임. 나 혼자만이 아니라 함께 일할 팀에 급여를 줄 수 있어야 함
      WordPress나 GitLab처럼 오픈소스 프로젝트가 SaaS 호스팅으로 지속 가능한 비즈니스 모델을 만든 사례가 이미 많고, 비교적 잘 닦인 길처럼 느껴짐
      또 사람들이 내 소프트웨어를 실제로 쓸 수 있길 원함. 지금 개인이 Datasette를 쓰려면 pip나 brew로 설치하거나 macOS Electron 앱 https://datasette.io/desktop을 써야 하는데, 나는 뉴스룸이 데이터를 협업하는 데 쓸 수 있길 바람. 대부분의 뉴스룸은 Linux 서버 설정에 익숙하지 않음
      호스팅 SaaS 버전은 내가 중요하게 생각하는 사용자들이 실제 가치를 얻도록 돕고, 프로젝트 전체의 재정적 지속 가능성으로 가는 현실적인 경로도 제공함
      물론 나도 이걸로 돈을 많이 벌고 싶기도 함
    • Datasette를 일반인이 더 쉽게 접근하고 쓸 수 있게 만드는 데 투자가 들어가면 좋겠음
      지금 UX와 설정은 보도에 관심 있는 데이터 해커에게 더 맞춰진 느낌이고, 표준적인 데이터 보도나 데이터 저널리즘 도구로는 잘 보이지 않음
      의도한 사용자가 데이터 해킹 능력이 없을 수도 있는 기자라면, 시작 장벽을 더 낮춰야 함
      Datasette는 BI 도구도 OSINT 도구도 아니고, 현재로선 데이터 애호가와 탐사보도 기자 사이의 아주 좁은 틈새에 위치해 잠재력이 크게 제한됨
      Simon은 수익화, 특히 Datasette Cloud를 더 접근 가능하게 만들 사람을 채용하는 일을 고려해야 함. GUI 앱을 만든 건 올바른 방향의 한 걸음으로 보임
    • 좀 냉소적인 표현 아닌가?

  • 분위기 깨려는 건 아니지만 Datasette 소개 영상을 전부 봐도 내가 뭔가 놓친 것 같음
    이게 사실상 SQL GUI 아닌가? 다른 SQL 관리 패널과 거의 같고, 쓰기 기능만 빠진 것처럼 보임
    차별점은 무엇인지, 확장 기능인지 궁금함

    • MS Access에 더 가깝지만, 백엔드는 SQLite와 Python이라 더 합리적인 형태라고 봄
      Excel과 Access로 억지로 엮어 만든 중요한 비즈니스 프로세스가 수없이 많고, Datasette는 그런 용도에 훨씬 나은 선택지가 될 수 있음. 개발자와 업무 담당자가 모두 쓸 수 있는 도구임
    • 아주 합당한 질문이고, 5년 동안 생각해 왔지만 아직도 한 문장으로 딱 떨어지는 답은 없음
      Datasette가 가장 잘 해결하는 문제는 구조화된 데이터를 온라인에 발행하는 일임
      예를 들어 전 세계 발전소 목록이나 미국 의회의 전체 이력을 온라인에 공유하려면 CSV를 웹사이트/GitHub/S3에 올리거나, Django/Rails 같은 커스텀 앱을 만들거나, Google Sheet를 쓸 수 있음. Guardian에서 예전에 Google Sheet로 해결했던 방식은 https://simonwillison.net/2018/Aug/19/instantly-publish-data...에 있음
      Datasette는 원래 이 문제를 해결하려고 만들었고, SQLite가 여기에 완벽하다고 봤음. 빠르고 견고하며, 읽기 전용 데이터를 발행한다면 백업이나 복제 같은 걱정 없이 동적 웹 앱을 호스팅할 수 있는 곳이면 어디든 배포 가능함
      전 세계 발전소 예시는 https://global-power-plants.datasettes.com/global-power-plan...이고, 미국 의회 의원 데이터는 https://congress-legislators.datasettes.com/legislators에 있음. 후자는 Datasette 튜토리얼 https://datasette.io/tutorials/explore에서도 사용함
      명령줄에 익숙하다면 sqlite-utils로 CSV를 SQLite에 넣고 정리한 뒤 datasette publish vercel과 datasette-cluster-map 플러그인으로 발행하는 방식보다 더 빠른 방법을 찾기 어려울 것임
      datasette-publish-vercel 플러그인을 쓰는 예지만, Datasette는 추가 플러그인으로 Fly, Google Cloud Run, Heroku 등에도 발행 가능함: https://docs.datasette.io/en/stable/publish.html
      sqlite-utils로 데이터 정리하는 부분은 https://datasette.io/tutorials/clean-data에 더 자세히 있음
      지난 5년 동안 Datasette는 발행을 넘어, 데이터를 들여다보고 탐색하고 싶을 때마다 쓰는 도구가 되었음. 데이터 저널리즘 관점에서는 “데이터에서 이야기 찾기”에 해당함
      상업적 활용에서도 기자가 데이터에서 이야기를 찾도록 도울 수 있다면, 다른 모든 사람도 자기 데이터에서 이야기를 찾도록 도울 수 있다는 강한 직감이 있음
      또 하나의 핵심은 플러그인임. WordPress가 좋은 CMS인 동시에 1만 개 이상의 플러그인으로 거의 모든 콘텐츠 발행 문제를 다루며 웹의 두 자릿수 비율을 차지하게 된 것처럼, Datasette의 가장 야심찬 모습도 그와 비슷함
      오픈소스 탐색적 데이터 분석(EDA) 및 발행 도구를 만들고 싶고, 수천 개의 플러그인으로 데이터 탐색, 분석, 시각화, 발행 문제를 해결할 수 있게 하고 싶음
      지금은 플러그인이 127개라 갈 길이 멀지만 좋은 출발임: https://datasette.io/plugins
      한 문장으로 줄이면 “Datasette는 데이터를 인터랙티브하고 검색 가능한 데이터베이스로 온라인에 발행하는 가장 빠른 방법”이거나, “데이터를 위한 WordPress: 탐색, 분석, 시각화, 발행을 위한 확장 가능한 오픈소스 플랫폼”이라고 할 수 있음

  • Simon, 정말 좋아 보이고 잘되길 바람
    지난 몇 년 동안 Datasette로 멋진 것들을 많이 해 봤고 강력히 추천함. datasette.cloud도 꼭 써볼 생각임

  • Datasette는 훌륭함
    이전 직장에서 복잡한 SQL 쿼리 결과를 빠르게 공유하려고 Datasette를 사내 Azure 클라우드에 억지로 배포하는 방법을 만들었는데, Simon이 직접 .cloud를 내놓은 걸 보니 반가움

  • Latent Space 팟캐스트에서 Simon을 접한 뒤 몇 주 동안 그의 블로그와 여러 YouTube 영상을 보고 있음
    전직 기자로서 데이터 저널리즘을 배워보고 싶었고, 이게 공개되면 시도해 볼지도 모르겠음

  • 데이터 저널리즘이 이제 CSV를 클라우드에 올리는 형태로 진화한 걸 보니 흥미로움
    예전 I.R.E. 컨벤션에서 가장 뜨거운 주제는 9트랙 테이프에서 데이터를 추출하고 해독하는 법을 배우는 것이었음
    FOIA 초창기에는 정부가 거대한 9트랙 데이터 릴에 방대한 정보를 덤프해서 “요청을 준수했다”고 하며 보도를 방해하곤 했음
    그런 장비나 기술 역량을 가진 뉴스룸은 거의 없어서 직접 해결책을 찾거나 도와줄 수 있는 기업·기관을 찾아야 했음
    I.R.E.: https://www.ire.org/

    • NICAR(National Institute for Computer-Assisted Reporting, IRE 소속)가 1980년대에 만들어졌고 메인프레임을 다뤘다는 사실을 자주 상기시킴
      데이터 저널리즘은 새로운 게 아님

  • Simon은 훌륭한 기술자임
    그의 영상과 글에서 꽤 많이 배웠고, 이번 일이 잘 풀리길 바람

  • C64 C2N Datasette 테이프 드라이브를 가리키는 줄 알았는데 아니어서 아쉬웠음
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • C64와 Datasette로 첫 “데이터베이스” 프로그램을 썼음
      아마 7살쯤이었고 실제로 하는 일은 별로 없었지만, 이름은 분명히 거기에 대한 오마주임
    • “Floppy RAID” [1] 같은 정신을 기대했는데, 더 오래된 기술로 더 터무니없는 무언가일 줄 알았음
      1: https://youtu.be/1hc52_PWeU8
    • 나도 같은 걸 기대했음
      아직도 다락에 1531이 있고, C16 옆에 놓여 있음
답변달기