# Peerdb Streams - 심플한 Postgres CDC(Change Data Capture)

> Clean Markdown view of GeekNews topic #14714. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=14714](https://news.hada.io/topic?id=14714)
- GeekNews Markdown: [https://news.hada.io/topic/14714.md](https://news.hada.io/topic/14714.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-05-09T09:29:01+09:00
- Updated: 2024-05-09T09:29:01+09:00
- Original source: [blog.peerdb.io](https://blog.peerdb.io/peerdb-streams-simple-native-postgres-change-data-capture)
- Points: 13
- Comments: 1

## Topic Body

- Postgres에서 발생하는 변경 사항을 Kafka, Redpanda, Google PubSub, Azure Event Hub 등과 같은 큐/메시지 브로커로 손쉽게 복제  
  - 내부적으로 Postgres logical decoding을 이용하여 Postgres CDC를 활성화   
- 기존 CDC에 Debezium이 많이 사용되지만 학습곡선이 길고, 프로덕션에 적용하려면 기반 지식이 많이 필요함   
  - 설정이 어려움(UI는 아직 개발중), 데이터 형식 및 변환 지원도 간단하지 않음, Kafka 외의 다른 메시지 브로커에는 동일수준의 기능을 제공하지 않음   
- PeerDB는 더 간단하면서도 포괄적인 Postgres CDC 구축을 목표로 함   
  - 엔지니어가 최소한의 학습 곡선으로 며칠 내에 프로덕션급 Postgres CDC를 구현할 수 있도록  
- PeerDB UI로 간단히 설정 가능  
  - 소스와 타겟 데이터 소스 설정(Postgres 와 Kafka 같은)  
  - 처리량(테이블당) 및 대기 시간 등 CDC의 진행 상황을 모니터링  
  - 로그 검색  
  - 복제 슬롯 증가에 따른 슬랙/이메일 알림   
  - 미러 튜닝, 일시 중지, 미러에 테이블 추가등의 고급기능도 제공   
- CLI도 제공. Postgres 호환 SQL 계층을 제공해서 사용자 친화적   
- Kafka로 CDC 스트리밍 전에 Row 단위 Transformation 적용   
  - Lua 스크립트 이용   
  - 개인 식별 정보(PII) 암호화/마스킹, 다양한 데이터 형식 지원(JSON, MsgPack, Flatbuffers, Protobuf, 등)  
  - 스크립트 에디터와 유용한 템플릿들 제공   
- Kafka 외의 타겟을 위한 네이티브 커넥터 제공   
  - Google Pub/Sub, Azure Event Hubs

## Comments



### Comment 25061

- Author: xguru
- Created: 2024-05-09T09:30:02+09:00
- Points: 1

[PeerDB - Postgres를 위한 ETL/ELT 플랫폼](https://news.hada.io/topic?id=10117)  
[Debezium - DB의 변경사항을 스트리밍하는 오픈소스](https://news.hada.io/topic?id=6712)