ArkFlow - 고성능 Rust 스트림 프로세싱 엔진
(github.com/chenquan)- Rust와 Tokio 비동기 런타임 기반으로 우수한 성능 및 낮은 지연 시간 제공. 대규모 데이터 스트림을 빠르게 처리 가능
- 다양한 데이터 소스 지원: Kafka, MQTT, HTTP, 파일 및 기타 입/출력 소스들
- 실시간 데이터 필터링 및 변환 : 내장된 SQL 쿼리, JSON 및 Protobuf 인코딩/디코딩 지원, 배치 처리 기능 제공
- 모듈형 설계로 새로운 입력, 출력 및 처리 컴포넌트를 손쉽게 확장 가능
- 사용자 정의 프로세서를 추가해 맞춤형 데이터 처리 지원
- 비동기 기반의 처리 구조로 높은 안정성 제공
- 오류 발생 시 자동 복구 및 재처리 가능
- YAML 포맷의 설정 파일 사용으로 구성 및 설정 용이
- 로컬에서 빠르게 테스트 및 디버깅 가능