10P by xguru 2022-04-13 | favorite | 댓글 4개
  • 실시간 어플리케이션 작성시 복잡도와 비용을 낮추는 것을 목표로 설계
  • 스트림 데이터를 가져와 SQL로 Continuous 쿼리를 실행하고 결과를 동적으로 업데이트
    • 쿼리 & 트랜스폼
    • Materialized View 생성
  • Kafka/Pulsar/Kinesis/Redpanda 및 CDC 소스에서 데이터를 읽어옴
    • PostgreSQL/MySQL CDC(Change Data Capture) 지원
  • 데이터는 S3 및 S3 호환 객체 저장소에 저장해서 비용을 절감
  • Postgres 호환 SQL을 사용

직접 관련된 질문은 아닙니다만 대규모가 아닌 소규모 베어메탈 시스템에서 cdc 를 구성하는 좋은 방법은 어떤게 있을까요?
카프카가 베이스인게 많은데 일단 카프카 자체가 이미 오버스러운 수준이라서요…

https://github.com/debezium/debezium 이런거 아닐까요? (저도 이름만 알고 써보지는 않아서..)

디비지움이 오픈소스 Postgresql CDC 로 제일 유명한 것 같은데, 카프카 기반이지요 ^^

ksqlDB 나 Materialize 비슷한 거려나요?