Databases in 2024 : 한해 돌아보기

Andy Pavlo(CMU 교수)의 2024년 데이터베이스 업계 전체 리뷰

내 데이터베이스, 내가 원하는 대로 라이선스한다!

데이터베이스와 오픈소스의 딜레마:
- 오픈소스 DBMS는 종종 VC가 지원하는 수익성 있는 회사에서 개발.
- 클라우드 업체가 인기 있는 DBMS를 서비스로 제공하며 개발 기업보다 더 큰 수익을 올리는 문제 발생.
- MongoDB는 2018년 SSPL(Server Side Public License)로 전환하여 이 문제를 해결하려 함.
Redis 라이선스 변화:
- Redis Ltd.는 2024년 IPO를 준비하며 BSD-3 라이선스에서 SSPL 및 자체 Redis Source Available License로 전환.
- 2024년 3월, RocksDB의 포크인 Speedb를 인수하며 라이선스 변경 발표.
- 커뮤니티 반발:
  - 같은 주에 Valkey와 Redict라는 포크 프로젝트 발표.
  - Valkey는 Amazon에서 시작되어 Google, Oracle 등이 참여하며 Linux Foundation에 통합.
- Redis 창시자의 복귀 가능성:
  - 2024년 12월, Redis 창시자가 Redis Ltd.와 협력하여 커뮤니티 재통합을 모색한다고 발표.
Elasticsearch 라이선스 회귀:
- Elastic N.V.는 2021년 SSPL 및 Elastic License로 전환 후 Amazon과 갈등.
- Amazon은 OpenSearch 포크로 대응.
- 2024년 8월, Elastic N.V.는 AGPL로 다시 전환하며 Kendrick Lamar 노래를 언급.
- 2024년 9월, Amazon은 OpenSearch 프로젝트를 Linux Foundation에 넘김.
Andy의 견해:
- Redis에 대한 비판:
  - 성능이 낮고, 가짜 트랜잭션과 비효율적인 쿼리 언어 문제 지적.
  - 대체재가 많은 Redis는 커뮤니티의 반발을 견디기 어려운 상황.
- Elasticsearch와 비슷한 패턴:
  - 라이선스 변경 → 포크 프로젝트 등장 → 오픈소스 라이선스로 회귀.
- Redis와 Elasticsearch가 더 많은 반발을 받는 이유:
  - Redis는 창립자들이 원 제작자가 아니며, 외부 기여자가 많은 시스템으로 "정당성 부족" 논란.
  - 이는 2023년 HashiCorp의 Terraform 라이선스 변경과 유사한 반응.
- 클라우드 업체의 영향력:
  - 클라우드 업체는 오픈소스 DBMS의 프로토콜을 기존 DBMS에 통합하거나 자체 서비스를 통해 ISV의 수익 기반을 약화.
  - 예: AWS는 Timestream DBMS에 InfluxDB v2 프로토콜을 추가하고, Redis 호환 서비스보다 30% 저렴한 Valkey 호환 서비스 발표.
추가 업데이트:
- AWS가 InfluxDB v2 DBMS의 관리형 서비스를 Influx Data와 협력하여 제공.
- ScyllaDB가 2024년 12월 오픈소스 AGPL 버전을 중단하고 엔터프라이즈 버전을 "소스 공개"로 전환.

Databricks와 Snowflake의 끝없는 경쟁

공개 LLM 경쟁:
- Databricks:
  - 2024년 3월, DBRX 오픈소스 LLM 발표.
  - 1320억 개 파라미터로 Mosaic 팀이 개발, 2023년에 $13억에 인수.
  - 모델 개발에 $1,000만 투자.
- Snowflake:
  - 2024년 4월, Arctic 오픈소스 LLM 발표.
  - 4800억 개 파라미터로, SQL 생성과 같은 "엔터프라이즈" 작업에서 DBRX보다 우수하다고 주장.
  - 모델 개발에 $200만 투자.
  - Snowflake 발표는 다른 LLM보다 DBRX와의 비교에 초점, 경쟁 구도를 명확히 드러냄.
메타데이터 카탈로그 전쟁:
- Hive의 HCatalog가 2010년대 데이터 레이크의 표준으로 자리 잡음.
- Netflix의 Iceberg와 Uber의 Hudi가 2010년대 후반에 등장, Apache 프로젝트로 성장.
- Databricks:
  - DeltaLake 플랫폼과 Unity라는 독점 카탈로그 서비스 제공.
  - 2024년 6월, Snowflake CEO의 Polaris 카탈로그 서비스 발표 당일, Iceberg 지원 기업 Tabular를 $20억에 인수.
  - 다음 주 Unity 카탈로그 오픈소스화 발표.
- Snowflake:
  - 2022년 Iceberg 지원 발표 이후 점진적으로 확장.
  - Tabular 인수 협상 중 Databricks에 선수를 빼앗김.
Andy의 견해:
- 전통적인 경쟁과의 차이:
  - 과거 Oracle과 Informix의 성능 경쟁과 달리, Snowflake와 Databricks의 싸움은 생태계와 데이터 관리 툴에 초점.
  - 벡터화된 실행 엔진은 이제 기본적인 기술로 간주.
  - 현재 중요한 것은 사용 편의성, 도구 호환성, AI/LLM 통합과 같은 부가적 품질.
- 소비자에게 유익:
  - 치열한 경쟁은 더 나은 제품과 기술을 의미.
  - Snowflake의 Polaris는 Apache 프로젝트로 전환, 더 나은 기술 접근성 제공.
  - 결과적으로 기술 발전과 가격 인하 기대.
- 긍정적 비교:
  - Oracle과 Salesforce CEO의 단순 자존심 경쟁과 달리, Snowflake와 Databricks의 싸움은 실질적 혁신과 경쟁력 강화로 이어짐.

DuckDB를 모든 곳에 통합하려는 노력

DuckDB의 성장:
- DuckDB는 데이터 분석 쿼리에 있어 새로운 기본 선택으로 자리 잡음.
- 이전에는 Pandas가 이러한 역할을 했으나, DuckDB는 뛰어난 휴대성과 성능으로 그 자리를 차지.
- 여러 DBMS가 OLAP 워크로드 지원 강화를 위해 DuckDB를 통합하려는 시도 증가.
- 2024년에는 Postgres와 DuckDB를 통합하는 4개의 새로운 확장 발표.
Postgres-DuckDB 확장 발표:
- 5월 2024 - Crunchy Data:
  - Postgres에서 OLAP 쿼리를 DuckDB로 라우팅하는 독점 브리지 발표.
  - DuckDB의 지리공간 분석 기능을 활용해 PostGIS 쿼리를 가속화하는 확장도 추가.
- 6월 2024 - ParadeDB:
  - 오픈소스 확장 pg_analytics 발표.
  - 이전에는 DataFusion 기반 pg_lakehouse를 사용했으나, DuckDB로 전환.
- 8월 2024 - pg_duck:
  - DuckDB Labs GitHub에서 공식적으로 지원하는 DuckDB 확장.
  - MotherDuck, Hydra, Microsoft, Neon 간의 협업으로 시작했으나, Microsoft와 Neon은 개발 통제권 분쟁으로 프로젝트에서 제외.
  - 현재 MotherDuck과 Hydra가 공동으로 유지 관리.
- 11월 2024 - pg_mooncake:
  - Postgres를 통해 Iceberg 테이블에 데이터를 기록하고 트랜잭션을 지원하는 확장 발표.
Andy의 견해:
- DuckDB의 장점:
  - 대부분의 OLAP 쿼리는 100MB 미만의 데이터를 스캔, DuckDB는 단일 인스턴스로 이를 충분히 처리 가능.
  - 뛰어난 휴대성과 편리성 덕분에 Postgres 커뮤니티에서 빠르게 확산.
  - Iceberg 및 S3 데이터 접근을 포함한 다양한 데이터 생태계를 단일 확장으로 통합.
  - 고성능 분석을 제공하면서 비싼 데이터 웨어하우스를 대체할 수 있음.
- Postgres의 확장성:
  - Postgres는 1980년대 설계 당시부터 확장성과 유연성을 목표로 함.
  - Postgres의 "hook" API(2006년 도입)로 인해 가장 광범위하고 다양한 확장 생태계 구축.
  - 그러나 확장 간 간섭과 잘못된 동작을 초래할 위험도 존재.
- DuckDB의 Postgres 통합:
  - 기존의 Postgres 확장(Citus, Timescale)은 컬럼 기반 저장소만 제공해 문제를 부분적으로 해결.
  - DuckDB는 컬럼 기반 저장소와 벡터화된 쿼리 처리 모두 제공.
- 비유적인 언급:
  - "Postgres 코끼리와 DuckDB를 활용한 turducken 농담" 가능성 언급, 하지만 대학의 징계를 피하기 위해 생략.

Random Happenings in the Database World

주요 릴리스:

Amazon Aurora DSQL:
- AWS가 새로운 "Spanner-like" DBMS 발표.
- 분산 로그 서비스와 타임스탬프 정렬(Time Sync) 기반.
- Aurora라는 이름을 활용했지만, 기존 Aurora Postgres RDS와 코드 공유 없음.
CedarDB:
- Umbra의 코드를 포크한 상용화 DBMS.
- Umbra 창시자인 Thomas Neumann은 여전히 연구에 집중하며 Clickbench 리더보드 최상위 유지.
Google Bigtable:
- NoSQL 선구자인 Bigtable이 2024년에 SQL 지원 추가.
Limbo:
- Turso가 SQLite를 Rust로 완전 재작성한 프로젝트 발표.
- SQLite의 강점은 코드뿐 아니라 모든 환경에서 정확히 실행되도록 보장하는 테스트 엔지니어링.
- FoundationDB의 전직 엔지니어들과 협력하여 결정적 테스트 도입.
Microsoft Garnet:
- Redis 호환 키-값 저장소로, FASTER의 후속작.
- 쿼리 병렬성, 메모리 초과 DB 지원, 진정한 트랜잭션 기능 제공.
MySQL v9:
- 6년 만에 출시된 새로운 버전.
- 데이터베이스에 8,000개 이상의 테이블이 있으면 충돌하는 문제 발생.
- 주요 기능이 부족하며, Oracle은 MySQL Heatwave 서비스에 더 집중.
Prometheus v3:
- 7년 만의 주요 업데이트.
- 대체 가능한 옵션이 많아 OG Prometheus의 활용도 감소.

주요 인수:

Alteryx → Private Equity: 사용자가 드물며, 별다른 의견 없음.
MariaDB → Private Equity: 관리 문제 해결 기대.
OrioleDB → Supabase: Postgres의 오래된 스토리지 아키텍처를 개선.
PeerDB → ClickHouse: Postgres 데이터를 ClickHouse로 ETL 전송 도구.
PopSQL → Timescale: 고급 SQL 편집기 UI 인수.
Speedb → Redis Ltd.: RocksDB 포크로 데이터 디스크 저장 기능 추가 가능성.
Rockset → OpenAI: DBaaS 서비스 종료, 2024년 9월.
Tabular → Databricks: Iceberg 생태계 강화를 위해 인수.
Verta.ai → Cloudera: Cloudera가 아직 생존 중.
Warpstream → Confluent: Kafka를 golang으로 재작성, S3와 통합.

주요 투자:

Databricks: $10억 시리즈 J.
DBOS: $850만 시드 라운드.
LanceDB: $800만 시드 라운드.
SDF: $900만 시드 라운드.
SpiceDB: $1,200만 시리즈 A.
TigerBeetle: $2,400만 시리즈 A.

주요 종말:

Amazon QLDB: Amazon조차 수익화 실패.
OtterTune: 10년 연구 및 스타트업 여정 종료. 특정 기업과의 문제로 인해 CMU-DB 학생 채용 금지.

Andy의 견해:

Databricks의 대규모 자금 조달:
- 2024년 $10억 시리즈 J로 데이터베이스 업계 최고 자금 조달 기록 갱신.
- 자금은 직원 주식 매입에 사용, IPO 지연에 대한 직원 불만 해결.
- Databricks IPO 이후 여러 데이터베이스 스타트업도 IPO를 준비할 가능성.
내년 전망:
- 금리 하락이 대규모 자금을 유치한 기업(CockroachDB, Starburst, Imply 등)에 추가 자금 조달 기회 제공 가능성.
- dbtLabs는 이미 성공적으로 자리 잡은 것으로 평가.

멈추지 않는 래리 엘리슨: 2024년의 놀라운 행보

2024년 래리 엘리슨의 주요 업적:
- 80번째 생일을 맞이하며 여전히 대담한 행보를 이어감.
- 오라클 주식 상승으로 세계 3위 부자로 등극.
  - 2024년 3월, 오라클 주식 급등으로 하루 만에 150억 달러를 벌어들임.
- 7월, 아들(세 번째 아내와의 사이)에게 선물로 60억 달러에 파라마운트 스튜디오를 구매.
- 팜 비치 리조트를 2억 7,700만 달러에 인수, 또 하나의 고급 자산 추가.
미시간 대학 풋볼팀 지원:
- 2024년 11월, 미시간 대학 풋볼 후원 캠페인에 1,200만 달러 기부.
  - 이 기부로 LSU에서 미시간으로 이적한 최고의 쿼터백 영입에 결정적 역할.
  - 대학의 보도 자료에 “래리와 그의 아내 조린”의 공로가 언급됨.
- 대학 졸업 경력이 없는 래리가 미시간 대학과 첫 번째로 큰 연관성을 맺은 사건.
"조린"의 정체:
- 언론 보도로 래리의 새 아내가 조린(커렌) 주라는 사실이 밝혀짐.
  - 래리가 테니스 경기를 관람하는 모습이 포착되었고, 조린이 미시간 모자를 쓰고 있었음.
  - 2주 후, 결혼 소식이 새벽 5시 뉴스를 통해 전해지며 그녀의 정체가 확인됨.
앤디의 관점:
- 래리의 미시간 대학 지원은 특별한 의미가 있음.
  - 앤디의 전 CMU-DB 학생이 현재 미시간 대학 데이터베이스 그룹의 교수로 활동 중.
- 래리의 새로운 사랑과 결혼을 축하하며 현대 사회에서 사랑을 찾는 어려움을 강조.
  - 과거 이혼을 겪었음에도 사랑을 다시 찾은 래리의 회복력과 긍정적인 태도를 높이 평가.
래리의 여섯 번째 결혼:
- 멜라니 크래프트(2010년 이혼)와 니키타 칸(2020년 이혼) 이후 또다시 결혼해 모두를 놀라게 함.
- 조린 주와의 결혼으로 행복을 추구하는 그의 의지를 다시 한 번 입증.

결론

새해 계획과 현재 상황:
- 3년 만에 처음으로 건강하게 새해를 맞이하려 했으나, 딸에게 COVID를 옮아 병상에서 새해를 맞이함.
- 2024년 9월 부스터 샷 접종, Paxlovid 치료 덕분에 큰 문제 없이 회복 중.
OtterTune의 종료:
- OtterTune 프로젝트가 종료된 것에 실망.
- 많은 훌륭한 사람들과 협업하며 큰 배움을 얻었음.
- Intel Capital과 Race Capital이 끝까지 지원해 준 것에 감사.
- 새로운 스타트업 구상 중(힌트: 이번에도 데이터베이스 관련).
CMU에서의 새로운 시작:
- 카네기멜론대학교(CMU)로 돌아와 풀타임 연구 활동 재개.
- Jignesh Patel과 함께 흥미로운 연구 프로젝트 준비 중.
- 이번 학기에 새로운 쿼리 최적화 강의 개설 예정.
- 2024년 9월, Wikipedia가 본인 관련 기사를 삭제한 만큼 연구 논문의 인용 수를 늘리는 방안을 모색 중.
DJ Mooshoo에 대한 지지:
- Cook County에 수감된 DJ Mooshoo를 여전히 지지.
- 2025년 석방을 희망하며 기다림.
ByteBase에 대한 언급:
- ByteBase의 2024년 데이터베이스 도구 리뷰 기사(Database Tools in 2024: A Year in Review)에 감사.
- 이전에는 본인의 연말 데이터베이스 기사를 중국어로 번역하려고 허락을 구했으나, 올해는 기다리지 않고 비슷한 주제와 제목으로 자체 기사를 작성.

Databases in 2024 : 한해 돌아보기

내 데이터베이스, 내가 원하는 대로 라이선스한다!

Databricks와 Snowflake의 끝없는 경쟁

DuckDB를 모든 곳에 통합하려는 노력

Random Happenings in the Database World

주요 릴리스:

주요 인수:

주요 투자:

주요 종말:

Andy의 견해:

멈추지 않는 래리 엘리슨: 2024년의 놀라운 행보

결론

함께 보면 좋은 글 β

댓글과 토론

Hacker News 의견