WarpStream : Kafka는 죽었다, Kafka 만세!
(warpstream.com)- WarpStream은 S3 위에 직접 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼
- Stateless 단일 Go 바이너리로 제공되어 관리할 로컬 디스크도, 리밸런스할 브로커도, 운영할 ZooKeeper도 필요 없음
- S3와 직접 데이터를 주고 받기 때문에 Kafka 보다 5~10x 저렴(대규모 카프카에 들어가는 인프라 비용에 80% 이상이 될 수도)
- Kafka는 2011년에 데이터 센터용으로 제작된 매우 훌륭한 소프트웨어지만 현대 워크로드에는 적합하지 않음
- 경제성: 설계상 Kafka의 복제 전략은 막대한 AZ간 대역폭 비용을 발생 시킴
- 운영 오버헤드: Kafka 클러스터를 운영하는 것은 별도 팀 및 복잡한 커스텀 도구를 필요로 함
- WarpStream은 여러 클라우드의 객체 스토리지(AWS S3, GCP GCS, Azure Blob Storage)에서 직접 실행 됨
- 현재 개발자 프리뷰중
레이어를 줄이는 대신 매우 조심해서 다뤄야할 도구. 이런 류의 도구는 요금 폭탄이 될 여지를 항상 남겨두고 있죠. (* 자체 데이터 센터에서 minio 등으로 가동할 경우는 예외)