Hacker News 의견

• pg_flo 프로젝트는 매우 흥미로워 보이며, 특히 S3로의 아카이브와 저렴한 도구 버전이 매력적임

  • Debezium과 같은 도구는 대규모 데이터(TBs) 대신 소규모 데이터(GBs)로 작업할 수 있어 로컬 테스트가 용이함
  • Kafka와 Debezium을 사용하는 것은 단기적인 노력이며, 번거로움을 평가 중임
  • 팀에서 평가 중인 다른 솔루션으로는 peerdb가 있음

• PostgreSQL 논리적 복제를 사용하여 메인 데이터베이스에서 데이터를 정리하고 S3로 아카이브하는 프로젝트를 진행 중임

  • 일부 테이블은 읽기 작업을 위해 보조 Postgres 인스턴스에서 사용 가능해야 하며, 이때 복제가 필요함
  • 메인 데이터베이스에서 두 가지 삭제 작업이 문제임
    • 첫 번째 삭제는 데이터 정리를 위한 것이며, 복제된 데이터베이스에 반영되지 않기를 원함
    • 두 번째 삭제는 롤백을 위한 것이며, 데이터 상태를 변경하므로 복제되어야 함
  • 이러한 두 가지 삭제 작업을 구분하여 롤백 삭제만 복제할 수 있는 방법이 있는지 궁금함

• Postgres CDC 솔루션을 조사 중이며, pg_flo가 도움이 될 수 있을지 궁금함

  • 실패 모드에 대해 설명해줄 수 있는지 궁금함
  • 예를 들어, NATS 서버(또는 워커/복제자) 노드가 죽으면 어떻게 되는지 알고 싶음
  • Postgres에서 ElasticSearch/ClickHouse로 데이터를 이동하는 것이 얼마나 어려운지 궁금함

• Debezium의 대안이 될 수 있기를 바람

  • Debezium은 처음에 전체 CDC 상태를 Kafka로 복사해야 하며, Kafka 보존 시간을 무한대로 설정해야 하는데, 이는 많은 Kafka 서비스 시스템에서 허용되지 않음

• pglogical은 Postgres 내부에서 실행될 수 있지만, pg_flo는 확장이 아닌 외부 서비스로 보임

  • 이는 실제로 이점일 수 있음
  • Azure Postgres, Supabase, Neon 등 Postgres as a service 인스턴스와 함께 pg_flo를 사용할 수 있을지 궁금함
  • 벤더가 승인하지 않은 확장을 설치할 필요 없이 WAL을 읽을 수 있는지 궁금함

• 이 도구를 사용해보는 것이 매우 기대됨

  • 네트워크 연결 끊김/불안정성 중간에 복사를 처리할 수 있는지 궁금함

• Sequin과 비교했을 때 어떻게 다른지 궁금함

  • CDC 이벤트 기반 워크플로우를 가능하게 하면서도 임의로 이벤트 스트림을 필요에 따라 재생할 수 있는 도구를 찾고 있음

• 비슷한 도구를 찾고 있었는데, 완벽한 타이밍임

  • 다양한 변환을 통해 대량 복사(예: 야간)를 수행하고, 지속적으로 스트리밍하지 않는 것이 지원되는지 궁금함

• S3에 백업하는 것보다 복제를 사용하는 것이 더 나을지 궁금함

• 매우 멋진 도구임