최신 데이터 인프라 이해하기 #6 - Kafka, Pulsar, Kinesis
2020-12-09
"최신 데이터 인프라"를 조금 쉽게 이해할 수 있도록 설명하는 시리즈 동영상
6화에서는 Confluent/Kafka, Apache Pulsar, Amazon Kinesis에 대해 설명합니다.
- 0:00 #6 : 이벤트 스트리밍 플랫폼
- 0:13 스트리밍이 중요한 이유
- 1:34 Micro-batch vs. True(Native) Streaming
- 2:13 Confluent 와 Kafka 의 관계
- 2:45 Apache Kafka
- 3:12 왜 이름이 Kafka 일까?
- 3:36 Publish/Subscribe Messaging
- 5:12 Kafka의 모델 : Queuing + Pub/Sub
- 6:14 Kafka의 사용 용도
- 7:00 Kafka의 아키텍처
- 8:09 Zookeeper 제거 : Kafka on Kafka
- 8:31 Kafka Topic 의 구조
- 8:59 Topic Partition
- 10:11 Kafka APIs : Admin/Producer/Consumer/Streams/Connect
- 11:01 Kafka Streaming Platform
- 12:07 Kafka 운영시 어려운 점
- 12:35 Confluent Platform
- 13:12 Apache Kafka vs. Confluent vs. Confluent Enterprise
- 14:16 Apache Pulsar
- 14:45 Pulsar Architecture : Pulsar + Zookeeper + BookKeeper
- 15:05 Kafka vs. Pulsar
- 16:17 Amazon Kinesis
- 16:28 Amazon Kinesis Architecture
- 16:39 Apache Kafka vs. Kinesis Data Streams
- 18:06 Kafka 와 Kinesis 둘 중에 뭘 써야 할까 ?
- 18:31 Amazon Managed Streaming for Apache Kafka(MSK)
다음 편에서는 Stream Processing 에 대해 설명할 예정입니다.
좋아요와 구독 부탁드려요! 궁금하신 점은 유튜브 댓글에 남겨주세요.