내 유스케이스에 Airflow가 진짜 최선인지 확인해보자
(news.ycombinator.com)- Airflow의 대안이 너무 많아서, 내 유스케이스에 airflow가 가장 좋은 솔루션이 맞는지(혹은 유효한 솔루션이긴 한지) 확실하게 확인해 볼 필요가 있다
- 해당 글에서 언급된 대안
- Prefect
- Dagster
- Cadence
- Temporal
문제는 어느 정도 규모로 직접 경험해 보기 전 까지는 Airflow가 자신에게 맞는건지 예측하기가 쉽지 않더라고요.
유명한 것 치곤 사전에 알기 힘든 함정들이 좀 있는 거 같아요.
이벤트 기반 DAGrun 트리거 부재, 쉽지 않은 로컬 개발 (2.2에서 airflow standalone 이 생겨서 좀 더 수월해지긴 했어요), 다이나믹하지 않은 DAG 구성, 내부 작동을 잘 모르면 jinja템플랫을 안쓰고 Variable을 잘못 사용하기 쉬운 점 등등...
다음 프로젝트는 한번 Dagster를 경험해 보고 싶네요