Airbyte - 오픈소스 ELT

- Fivetran/Stitch 의 오픈소스 대체제
- 싱글 노드부터 자체 설치해서 사용 가능
- K8s 및 Airflow 연동
- 업데이트 스케줄링, 수동 전체 재동기화, 실시간 모니터링
- 41개 소스, 6개 데스티네이션 부터 시작해서 지속적으로 커넥터 추가중(오픈소스 커뮤니티와 함께)
ㅤ→ Destination: Redshift, Snowflake, BigQuery, Postgres, 로컬 JSON/CSV
ㅤ→ Source : Google Analytics, Facebook Ads, Google Ads, Salesforce, SQL Server/MySQL/Postgres, Jira, Intercom, Github, Looker, Mailchimp, Mixpanel, Marketo, Sendgrid, Slack, Shopify, Stripe, Twilio, Zendesk, Zoom..

* 홈페이지에 EL(T) 도구라고 표현되어 있듯이 Extract,Load 에 강하고
Transform은 자체 SQL/Java 트랜스포머도 지원하지만, dbt도 이용하는듯 합니다.

[xguru]

Fivetran 과 Stitch, dbt 등은 긱뉴스 유튜브의 "최신 데이터 인프라 이해하기" 영상을 참고하세요
- #3 ETL/ELT 도구들(Fivetran, Stitch, Matillion, Panoply) https://youtu.be/fn0sN3PFip0
- #4 데이터 모델링과 워크플로우 매니저(dbt,Airflow,Dagster,Prefect) https://youtu.be/IdVO1dC4bM8