5P by xguru 2022-01-05 | favorite | 댓글과 토론

- 대규모 데이터를 오프라인 또는 실시간으로 동기화 및 변환하기 위한 플랫폼
- 아파치 인큐베이터 프로젝트 (예전 이름 Waterdrop)
- 사용하기 쉽고, 유연하게 설정 가능, 로우 코드 개발
- 실시간 스트리밍 지원
- 오프라인 멀티소스 데이터 분석
- 고성능 데이터 처리
- SQL로 데이터 어그리게이션 및 처리 가능
- Spark Structured Streaming 지원
- Spark 2.x 지원

- 지원 플러그인
ㅤ→ Input : Fake, File, Hdfs, Kafka, S3, Socket,..
ㅤ→ Filter : Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid,..
ㅤ→ Output : ElasticSearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout,..