Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기

Kafka consumer group과 partition 수의 관계, 그리고 이로 인해 생기는 auto scaling의 어려움, 이를 해결하기 위한 새로운 아키텍처 도입기 입니다.

- Airbridge 서비스와 Workload 소개
- 기존 아키텍처의 문제점
- 새로운 아키텍처 제안
- 1안: Spark streaming과 같은 driver, executor model
- 2안: Kafka consumer와 application server decouple model
- 2안을 선택한 이유
- Kafka consumer와 application server decouple model 아키텍처
- 새로운 아키텍처에서의 고려 사항
- 경험한 어려움
- 새 아키텍처 적용 후 결과
- 앞으로 더 시도해봐야 할 것

[lamanus]

와... 저도 ecs 사용하지만 이정도로 고민해보진 않았는데 좋네요.

[lamanus]

envoy를 쓰면서 az간 트래픽을 줄이기 위한 요청이 홀딩상태였네요.

https://github.com/aws/aws-app-mesh-roadmap/issues/94