Datadog의 Quickwit 인수

 (quickwit.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Quickwit 팀은 Datadog에 합류해 새 제품 개발에 집중하고, 커뮤니티가 이어갈 수 있도록 Quickwit 새 버전을 Apache License 2.0으로 공개할 계획임
  • 출발점은 Elasticsearch의 확장 한계와 높은 운영 비용이었으며, Quickwit은 10배 이상 비용 효율적이고 멀티 페타바이트까지 확장되는 검색 엔진을 목표로 삼음
  • Binance는 Quickwit으로 100PB 로그 서비스를 구축해 하루 1.6PB를 인덱싱했고, Mezmo도 수천 고객과 페타바이트 로그를 프로덕션에서 처리함
  • 오픈소스 관심과 매출 증가, Series A 검토가 이어졌지만 Tokyo·Paris·New York에 흩어진 팀 구조가 확장 부담을 키워 인수 기회를 검토함
  • Quickwit과 tantivy에는 주요 업데이트가 예정되어 있으며, 새 Quickwit 버전에는 분산 수집, cardinality 집계, 성능·메모리 개선 등이 포함될 예정임

Datadog 합류와 오픈소스 지속

  • Quickwit 팀은 Datadog에 합류해 Datadog과 함께 새 제품을 만드는 데 집중할 예정임
  • 커뮤니티가 Quickwit을 계속 이어갈 수 있도록 새 버전을 곧 Apache License 2.0으로 공개할 계획임
  • Quickwit과 tantivy 모두 주요 업데이트가 예정되어 있음
    • 새 Quickwit 버전에는 커뮤니티가 요청해 온 분산 수집이 포함됨
    • cardinality 집계, 성능 및 메모리 개선, 그 외 추가 기능도 들어갈 예정임

Quickwit이 해결하려던 문제

  • Quickwit은 Paul, Adrien, François 세 엔지니어의 오랜 협업 구상에서 시작됨
  • 2020년 Paul의 개인 프로젝트였던 tantivy가 계기가 됨
    • tantivy는 Lucene의 인기 있는 대안으로 이미 알려져 있었음
  • 팀이 겨냥한 핵심 문제는 Elasticsearch의 확장성과 운영 비용이었음
    • Elasticsearch가 효과적으로 확장되지 않음
    • 비용이 너무 높아짐
    • 운영 복잡도가 커짐
  • 목표는 운영자가 안심하고 관리할 수 있으면서 멀티 페타바이트 규모까지 확장되고, 최소 10배 더 비용 효율적인 검색 엔진을 만드는 것이었음

분산 팀과 초기 오픈소스 개발

  • 개발은 Adrien이 San Francisco, Paul이 Tokyo, François가 Paris에 있는 분산 팀 구조로 시작됨
  • 서로 다른 시간대를 활용해 follow-the-sun 개발 사이클을 만들었음
  • Rust 선택은 초기 개발 속도와 안정성에 큰 영향을 줌
    • Common Crawl 데이터셋으로 만든 첫 데모가 HN 프런트 페이지에 오름
    • 거의 버그가 없었고, Python의 "'NoneType' object has no attribute" 오류 하나가 예외로 언급됨
  • 첫 버전은 2021년 7월 13일 출시됨
  • 오픈소스는 전략적 선택이면서도 엔지니어로서 자연스러운 선택이었음
  • HN 노출은 초기 사용자와의 대화로 이어졌지만, 대화가 늘수록 빠진 기능이 드러나 많은 구현이 필요해짐

대규모 사용 사례와 Rust 생태계 기여

  • Mezmo와 Binance 엔지니어링 팀과의 만남은 Quickwit이 실제 대규모 제품으로 발전하는 전환점이 됨
  • Binance는 Quickwit으로 100PB 로그 서비스를 구축함
    • 하루 1.6PB를 인덱싱함
  • Mezmo는 Quickwit을 프로덕션에 투입해 수천 고객과 페타바이트 규모 로그를 처리함
    • 같은 사용자 경험을 제공하면서 인프라 비용과 복잡도를 크게 줄임
  • 이 파트너십들은 Quickwit이 비용 효율적인 멀티 페타바이트 검색 엔진으로 자리 잡는 데 기여함
  • 팀은 Quickwit 개발 과정에서 Rust 생태계의 여러 라이브러리에도 기여함
    • tantivy: Quickwit의 기반인 전문 검색 엔진 라이브러리
    • chitchat: Cassandra와 DynamoDB에서 영감을 받은 장애 감지 포함 클러스터 멤버십 프로토콜
    • Bitpacking: bitpacking을 통한 정수 압축용 SIMD 알고리듬
    • Whichlang: Rust용 빠르고 가벼운 언어 감지 라이브러리
    • Mrecordlog: 멀티테넌시를 위해 설계된 효율적인 write-ahead log

Datadog을 선택한 과정

  • 2024년 여름 Quickwit은 오픈소스 관심 확대, 매출 급증, VC의 적극적인 관심을 겪음
  • 회사는 새 장을 열고 Series A 라운드를 추진할 시점이라고 판단함
  • 하지만 Tokyo, Paris, New York에 흩어진 팀 구조는 이미 부담이 컸고, 확장은 이 어려움을 더 키울 수 있었음
  • Quickwit은 결국 새 보금자리를 찾기로 하고 인수 기회를 검토함
  • Datadog은 후보 중 뚜렷하게 돋보였음
    • Datadog의 사용자 경험 제공 역량
    • Quickwit의 페타바이트 규모 검색 엔진
    • 고객 환경에 배포되는 강력한 솔루션을 만들 기회가 맞물림
  • 대기업 합류에 대한 초기 회의감은 Datadog 팀과의 대화를 거치며 사라짐
  • Datadog 팀과의 대화에서 지적 역량, 겸손함, 진정성 있는 문화가 확인됨

커뮤니티와 고객

  • Quickwit 팀은 직원, 투자자, 기여자, 친구, 지지자에게 감사를 전함
  • 고객으로는 Mezmo, Formal, Radiant Security, MatterLabs, Fly.io 등이 언급됨
  • 커뮤니티는 Quickwit 여정의 일부로 함께해 온 대상으로 감사를 받음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Quickwit 공동창업자로서 Datadog 인수가 HN 첫 페이지에 올라온 걸 보니 정말 한 바퀴를 돈 느낌임
    Quickwit의 여정은 처음부터 HN과 얽혀 있었고, 진행 과정이 HN 첫 페이지 글들에 그대로 기록되어 있음: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
    이런 첫 페이지 노출은 모두 이정표였고, 커뮤니티에 가치 있는 걸 보태고 싶어 엔지니어링 글에 진심을 담았음. HN은 가시성, 긍정적 피드백, 비판적 댓글, 직접 연락해 온 리드까지 제공하며 Quickwit의 성공에 중요한 역할을 했다고 확신함

    • 링크를 빠뜨린 것 같지만, 어쨌든 Tantivy는 훌륭함
      pg_search https://www.paradedb.com/blog/introducing_search를 좋아하는데, 다른 회사가 만들었지만 Tantivy 위에 세워진 것으로 보이고 이게 오픈소스의 큰 장점임. 다만 이번 인수 뒤 개발이 멈출까 걱정됨. Tantivy를 계속 공개 개발하는 게 Datadog의 수익에 어떻게 도움이 되는지 궁금함
    • 축하함. 팀이 Tantivy를 만든 것 자체가 오픈소스에 큰 기여임
      Apache Lucene 기반 제품들(Solr, Elastic)에 정이 붙지 않았던 입장에서 Tantivy가 오픈소스로 나온 게 정말 반가웠음. BM25 점수화, 제대로 된 아시아 언어 지원, 속도, 메모리 사용량 등이 훌륭함
      https://github.com/quickwit-oss/tantivy
      Datadog은 똑똑한 선택을 했다고 봄. Tantivy 자체가 영구히 Apache 2 라이선스로 남고 오픈소스 커뮤니티와 지속 가능한 방식으로 공존할 수 있다면 충분함. 상업적 성공을 누릴 자격이 있음

  • Quickwit은 올해 초 PR #5529에서 엔터프라이즈 라이선스를 추가하려는 듯했는데, 이번 발표에서는 오히려 커뮤니티가 계속 이어갈 수 있도록 Apache License 2.0으로 재라이선스한다고 함
    “우리는 Datadog과 새 제품을 만드는 데 집중할 것이며, 오픈소스 커뮤니티가 계속될 수 있도록 Quickwit과 tantivy의 대규모 업데이트를 곧 내고 Apache License 2.0으로 재라이선스하겠다”는 내용임
    결국 더 자유로운 라이선스의 Quickwit을 얻게 되지만, 행간을 읽으면 개발은 사실상 줄어드는 것처럼 보임. 사용해 본 바로는 안정적이라 크게 불평할 건 없지만, 앞으로 무엇을 더 가져올지 기대하고 있었음

    • 아마 팀이 직접 매일 풀타임으로 개발하던 일은 멈출 것 같음. Datadog 안에서 비슷하지만 닫힌 형태의 서비스로 통합 개발하게 됐기 때문일 가능성이 큼
      그래도 현재 제품을 OSI 호환 라이선스로 공개해 커뮤니티가 이어받을 수 있길 바라는 듯하고, 이 정도면 괜찮은 절충임. 훨씬 더 나쁠 수도 있었음
      Datadog도 오픈소스와 완전히 무관한 회사는 아님. 관측 가능성 파이프라인 도구를 범용으로 공개한 Vector는 꽤 탄탄한 제품임: https://vector.dev/

  • 최근에 여러 현대적 데이터베이스가 인수돼서 조금 아쉬움. 많은 혁신을 가져올 잠재력이 있었음
    https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/

    • Supabase 직원으로서 말하면, OrioleDB는 계속 완전한 오픈소스이자 관대한 라이선스로 유지됨
      Supabase는 OrioleDB 팀이 호스팅보다 저장 엔진에 집중하고 많은 사용자 피드백과 버그 리포트를 받을 수 있도록 초기 배포 채널을 제공하는 중임. 공동 목표는 OrioleDB를 Supabase뿐 아니라 어디서나 쓰는 Postgres 기본 저장 엔진 후보로 발전시키는 것임
    • 인수가 꼭 혁신의 끝을 뜻하진 않음. 때로는 몇 년간 공들여 만든 혁신을 훨씬 더 큰 사용자층으로 확장하게 해줌
      세 회사 창업자들을 모두 만나봤고, 모두 자기 작업을 세상에 내놓는 데 진심이라고 확신함. 참고로 ParadeDB는 독립적이고 당분간 매각 계획도 없음

  • Datadog이 노드, CPU, 컨테이너, RAM(KB), 색인된 유니코드 문자 단위로 과금할 방법을 찾아내기까지 카운트다운이 시작됨

    • 이미 그렇게 하고 있음. 예를 들어 컨테이너는 Pro 플랜에서 호스트당 5개가 포함되는데, 내 취미 프로젝트도 그보다 많고 이후에는 개당 추가 비용을 냄
      가격 모델이 꽤 복잡해서 시간이 지나면 이 좋은 기능들이 정말 그 높은 가격만큼 가치가 있는지 의문이 들기 시작함
    • 이미 그렇게 하지 않나? 로그는 수집 GB 기준이고, 모니터링은 노드 단위로 과금함

  • Mezmo가 Quickwit을 프로덕션에 넣어 수천 고객과 페타바이트 규모 로그를 처리하고 인프라 비용과 복잡도를 크게 줄였다고 하는데, 그 직후 Quickwit이 경쟁사에 팔린 걸 좋게 느끼긴 어려울 듯함

    • 오픈소스에 되돌려줄 때 감수해야 하는 위험임
      나머지 모두에게 좋은 점은 Datadog이 망치면 포크 수요가 꽤 있을 거라는 신호라는 것임
    • 자기들이 직접 한 일이면 그게 오픈소스의 본질이고, Quickwit과 계약이 있었다면 이런 상황을 다루는 조항이 없을 리 없다고 봄

  • 관련 글: Binance built a 100PB log service with Quickwit(6개월 전, 228점, 댓글 195개) https://news.ycombinator.com/item?id=40935701
    Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1년 전, 145점, 댓글 51개) https://news.ycombinator.com/item?id=38902042

    • 빠르게 움직이지 못하는 대형 레거시 공급자를 위협하는 성공적 제품을 만들고, 빠르게 인수형 채용되는 걸 목표로 삼아야겠음

  • “이번 여름부터 분위기가 바뀌었다. 오픈소스 견인이 강해지고 매출이 급증했으며 VC들이 더 적극적으로 다가왔다. 회사의 새 장을 열고 Series A를 조달할 때였다”라고 했는데, 수사적으로 왜 그때였을까?
    현실적인 답은 바로 거기 있음. VC들은 좋은 기술을 가진 빠르게 성장하는 회사만으로는 만족하지 않음. 포트폴리오 가치를 올려 표시할 수 있는 상향 라운드거나, 시장이 고가 Series A를 받을 만큼 뜨겁지 않다면 엑시트를 밀어붙이는 것임

    • 그건 후속 투자를 찾을 때가 아니라 시드 투자를 받을 때 이미 내리는 결정임
      수익성 있는 성장 기업을 만들고 싶다면 VC 자금은 그 길이 아님
    • 창업자들이 협조하지 않으면 실제로 어떻게 되는지 궁금함. VC가 힘으로 더 나쁜 조건의 매각을 강제할 수 있나? 정중한 요청과 강압 사이의 경계가 어디인지, 실제 레버리지가 누구에게 있는지 잘 모르겠음
    • 우리 시드 라운드는 100% SAFE였기 때문에 VC들이 우리에게 뭔가를 강제할 권한은 없었음
      블로그 문장의 표현이 약간 오해를 부를 수 있음. François가 말한 VC는 이미 Quickwit에 투자한 VC라기보다, 회사 상황을 알고 eventual Series A에 참여하고 싶어 연락해 오던 다른 VC들을 뜻했을 가능성이 큼
      전반적으로 우리가 “갈림길”에 있다고 느꼈을 뿐이고, 아무도 팔을 비틀지 않았음
    • 창업자가 시드를 받았고 이제 제품-시장 적합성을 찾고 반복 가능한 매출이 나오기 시작했다면, 확장을 위해 Series A를 올리는 게 자연스럽지 않나?

  • Datadog이 정말 싫음. 우리 회사에서는 팔거나 마케팅하면 안 되는 방식을 가리키는 욕처럼 Datadog 이름을 씀
    2015~2018년쯤 영업 방식 때문에 완전히 질렸음. 끝없는 전화와 이메일이 왔고, 결정타는 Lambda가 처음 발표됐을 때 AWS re:Invent의 Lambda 발표였음. 일찍 Lambda를 써보려고 팀 전체가 들으러 갔는데, 알고 보니 Barr의 “lambda up and running” 블로그를 기초적으로 베낀 내용을 스탠드업 코미디처럼 포장한 Datadog 직원 발표였고, 발표자는 자신이 Datadog 직원이라는 걸 계속 강조했음. 술 먹이고 기분 좋게 만들어 Datadog이 멋지다고 느끼게 하려는 식이었음
    진지하게 묻자면, 그 뒤로 회사가 다시 볼 만할 정도로 바뀌었나?

    • 그게 실제 제품과 무슨 관련이 있나?
    • Datadog과 합쳐진 뒤에는 여러 결과가 가능함
      예전 매니저가 말했듯 손익계산서에는 좋은 사람이라는 항목이 없고, 누군가는 비용을 내야 함. 그래서 어두운 길을 떠올리며 불안해지기 쉬움
      하지만 가능한 결과 중 하나는 Grafana 생태계에 맞서는 유효한 오픈소스 경쟁자가 생기는 것이고, 이것만으로도 나머지 생태계가 재라이선스하지 않도록 지켜줄 수 있음. 창업자들이 돈과 권력 싸움 없이 지속 가능한 길을 찾는 윈윈이 될 가능성도 있음. 긍정적으로 보고 싶고, 시간만이 보여줄 것임
    • 나는 반대 경험을 했음. 영업팀이 우리 시간을 꽤 존중해줬음
    • 동의함. 우리 도메인을 한번 맡자마자 모든 엔지니어가 “Re: meeting next week” 같은 이메일 폭격을 받았음
    • 우리한테는 그런 술 먹이는 영업 제안이 한 번도 안 오던데

  • 방금 Elastic에서 Quickwit으로 옮겼는데 한숨 나옴. 오픈소스이고 객체 저장소 기반인 다른 로그 데이터베이스로 추천할 만한 게 있나?

    • Grafana Labs의 Loki가 괜찮음: https://grafana.com/oss/loki/
      3년 전쯤에는 제품이 꽤 빠르게 바뀌고 문서 상당수가 git에 있어서 마이너 버전 업그레이드 때 골치가 좀 있었지만, 지금은 훨씬 성숙해졌을 거라고 봄
    • SigNoz를 한번 써보길 권함
      ClickHouse 위에 만들어져 빠르고 확장 가능함
      https://github.com/SigNoz/signoz
      참고로 나는 SigNoz 유지보수자임
    • VictoriaLogs를 살펴보면 좋음: https://docs.victoriametrics.com/victorialogs/
      작은 단일 실행 파일이고 기본 설정만으로 바로 실행되며, 모든 데이터를 단일 디렉터리에 저장함. 객체 저장소 지원은 곧 추가될 예정임

  • Datadog이 이 기술로 뭘 만들지 궁금함. 몇 달 전만 해도 이 회사는 자신들을 Datadog의 오픈소스 경쟁자로 소개했던 것 같음

    • press release를 보면 규제 때문에 순수 SaaS를 쓸 수 없는 고객에게 자체 호스팅 모델을 제공하려는 듯한 힌트가 있음
      금융, 보험, 헬스케어 같은 규제 산업은 데이터 거주성, 개인정보, 규제 요구를 맞추면서도 시스템 전체 가시성을 유지해야 함. 로그가 고객 환경이나 특정 지역에 머물러야 하면 원활한 관측 가능성과 인사이트 확보가 어려워지고, Datadog은 Quickwit을 통해 여러 로그 도구를 추가하지 않고도 이 요구를 맞추려는 것으로 보임
    • 엔터프라이즈 고객에게 더 큰 청구서를 보내려는 것임
    • 오히려 이 기술로 더 뭔가를 만들지 못하게 하려고 인수했을 수도 있음. 기존 엔터프라이즈 계약 갱신을 위협하니까
    • 자기 쪽 해자를 지키려는 의도가 꽤 분명함. Datadog이 여기에 계속 투자할 것 같지는 않음. 꽤 직접적인 경쟁자였으니까
      예전에 인수한 오픈소스 Vector는 어떻게 됐나? 그 사람들은 아직 고용돼 있나?
    • 기존 인프라를 이걸로 교체해서 비용을 줄이려는 것일 수도 있다고 봄
답변달기