# WarpStream : Kafka는 죽었다, Kafka 만세!

> Clean Markdown view of GeekNews topic #10234. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10234](https://news.hada.io/topic?id=10234)
- GeekNews Markdown: [https://news.hada.io/topic/10234.md](https://news.hada.io/topic/10234.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-08-08T10:41:01+09:00
- Updated: 2023-08-08T10:41:01+09:00
- Original source: [warpstream.com](https://www.warpstream.com/blog/kafka-is-dead-long-live-kafka)
- Points: 28
- Comments: 4

## Topic Body

- WarpStream은 S3 위에 직접 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼  
- Stateless 단일 Go 바이너리로 제공되어 관리할 로컬 디스크도, 리밸런스할 브로커도, 운영할 ZooKeeper도 필요 없음   
- S3와 직접 데이터를 주고 받기 때문에 Kafka 보다 5~10x 저렴(대규모 카프카에 들어가는 인프라 비용에 80% 이상이 될 수도)  
- Kafka는 2011년에 데이터 센터용으로 제작된 매우 훌륭한 소프트웨어지만 현대 워크로드에는 적합하지 않음  
  - 경제성: 설계상 Kafka의 복제 전략은 막대한 AZ간 대역폭 비용을 발생 시킴   
  - 운영 오버헤드: Kafka 클러스터를 운영하는 것은 별도 팀 및 복잡한 커스텀 도구를 필요로 함   
- WarpStream은 여러 클라우드의 객체 스토리지(AWS S3, GCP GCS, Azure Blob Storage)에서 직접 실행 됨   
- 현재 개발자 프리뷰중

## Comments



### Comment 18031

- Author: xguru
- Created: 2023-08-09T10:33:01+09:00
- Points: 2

GN⁺ 가 요약한 버전도 함께 보세요. https://news.hada.io/topic?id=10254

### Comment 18012

- Author: pseudojo
- Created: 2023-08-08T17:01:55+09:00
- Points: 1

레이어를 줄이는 대신 매우 조심해서 다뤄야할 도구. 이런 류의 도구는 요금 폭탄이 될 여지를 항상 남겨두고 있죠. (* 자체 데이터 센터에서 minio 등으로 가동할 경우는 예외)

### Comment 18003

- Author: ehlegeth
- Created: 2023-08-08T13:09:11+09:00
- Points: 1

disaggregated storage 방향성을 활용한 흥미로운 시도네요.   
캐싱 등의 이슈들은 어떻게 다루었는지 궁금하군요.

### Comment 18001

- Author: xguru
- Created: 2023-08-08T10:42:01+09:00
- Points: 2

블로그 글 제목이 어그로성이긴 합니다만, Kafka의 가벼운 대체제로서는 흥미로운 시도인듯합니다.