WarpStream : Kafka는 죽었다, Kafka 만세!

(warpstream.com)

WarpStream은 S3 위에 직접 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼
Stateless 단일 Go 바이너리로 제공되어 관리할 로컬 디스크도, 리밸런스할 브로커도, 운영할 ZooKeeper도 필요 없음
S3와 직접 데이터를 주고 받기 때문에 Kafka 보다 5~10x 저렴(대규모 카프카에 들어가는 인프라 비용에 80% 이상이 될 수도)
Kafka는 2011년에 데이터 센터용으로 제작된 매우 훌륭한 소프트웨어지만 현대 워크로드에는 적합하지 않음
- 경제성: 설계상 Kafka의 복제 전략은 막대한 AZ간 대역폭 비용을 발생 시킴
- 운영 오버헤드: Kafka 클러스터를 운영하는 것은 별도 팀 및 복잡한 커스텀 도구를 필요로 함
WarpStream은 여러 클라우드의 객체 스토리지(AWS S3, GCP GCS, Azure Blob Storage)에서 직접 실행 됨
현재 개발자 프리뷰중