12P by xguru 11일전 | favorite | 댓글 1개
  • Postgres에서 발생하는 변경 사항을 Kafka, Redpanda, Google PubSub, Azure Event Hub 등과 같은 큐/메시지 브로커로 손쉽게 복제
    • 내부적으로 Postgres logical decoding을 이용하여 Postgres CDC를 활성화
  • 기존 CDC에 Debezium이 많이 사용되지만 학습곡선이 길고, 프로덕션에 적용하려면 기반 지식이 많이 필요함
    • 설정이 어려움(UI는 아직 개발중), 데이터 형식 및 변환 지원도 간단하지 않음, Kafka 외의 다른 메시지 브로커에는 동일수준의 기능을 제공하지 않음
  • PeerDB는 더 간단하면서도 포괄적인 Postgres CDC 구축을 목표로 함
    • 엔지니어가 최소한의 학습 곡선으로 며칠 내에 프로덕션급 Postgres CDC를 구현할 수 있도록
  • PeerDB UI로 간단히 설정 가능
    • 소스와 타겟 데이터 소스 설정(Postgres 와 Kafka 같은)
    • 처리량(테이블당) 및 대기 시간 등 CDC의 진행 상황을 모니터링
    • 로그 검색
    • 복제 슬롯 증가에 따른 슬랙/이메일 알림
    • 미러 튜닝, 일시 중지, 미러에 테이블 추가등의 고급기능도 제공
  • CLI도 제공. Postgres 호환 SQL 계층을 제공해서 사용자 친화적
  • Kafka로 CDC 스트리밍 전에 Row 단위 Transformation 적용
    • Lua 스크립트 이용
    • 개인 식별 정보(PII) 암호화/마스킹, 다양한 데이터 형식 지원(JSON, MsgPack, Flatbuffers, Protobuf, 등)
    • 스크립트 에디터와 유용한 템플릿들 제공
  • Kafka 외의 타겟을 위한 네이티브 커넥터 제공
    • Google Pub/Sub, Azure Event Hubs