# Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기

> Clean Markdown view of GeekNews topic #5360. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=5360](https://news.hada.io/topic?id=5360)
- GeekNews Markdown: [https://news.hada.io/topic/5360.md](https://news.hada.io/topic/5360.md)
- Type: news
- Author: [toughrogrammer](https://news.hada.io/@toughrogrammer)
- Published: 2021-11-11T19:01:07+09:00
- Updated: 2021-11-11T19:01:07+09:00
- Original source: [engineering.ab180.co](https://engineering.ab180.co/stories/kafka-consumer-proxy)
- Points: 17
- Comments: 2

## Topic Body

Kafka consumer group과 partition 수의 관계, 그리고 이로 인해 생기는 auto scaling의 어려움, 이를 해결하기 위한 새로운 아키텍처 도입기 입니다.

- Airbridge 서비스와 Workload 소개

- 기존 아키텍처의 문제점

- 새로운 아키텍처 제안

    - 1안: Spark streaming과 같은 driver, executor model

    - 2안: Kafka consumer와 application server decouple model

- 2안을 선택한 이유

- Kafka consumer와 application server decouple model 아키텍처

- 새로운 아키텍처에서의 고려 사항

- 경험한 어려움

- 새 아키텍처 적용 후 결과

- 앞으로 더 시도해봐야 할 것

## Comments



### Comment 7555

- Author: lamanus
- Created: 2021-11-11T22:44:49+09:00
- Points: 1

와... 저도 ecs 사용하지만 이정도로 고민해보진 않았는데 좋네요.

### Comment 7556

- Author: lamanus
- Created: 2021-11-11T23:11:36+09:00
- Points: 1
- Parent comment: 7555
- Depth: 1

envoy를 쓰면서 az간 트래픽을 줄이기 위한 요청이 홀딩상태였네요.

https://github.com/aws/aws-app-mesh-roadmap/issues/94