11P by xguru 1달전 | favorite | 댓글과 토론
  • Postgres에서 다른 시스템으로 데이터를 지속적으로 복사하는 데이터 파이프라인 구축
  • Postgres 의 "Logical Streaming Replication Protocol" 위에 추상화를 구축하여 하위수준에 대한 걱정 없이 이용 가능
  • 로드맵
    • BigQuery, DuckDB, MotherDuck Sink 는 구현(Duck 쪽은 배치 파이프라인 버전으로 재구현 예정)
    • Snowflake, ClickHouse Sink 는 구현 예정
  • Rust Crate로 개발되어 cargo로 실행 가능
    cargo run --example stdout -- --db-host localhost --db-port 5432 --db-name postgres --db-username postgres --db-password password cdc my_publication stdout_slot