11P by dlwocks31 1달전 | favorite | 댓글 2개
  • Airflow의 대안이 너무 많아서, 내 유스케이스에 airflow가 가장 좋은 솔루션이 맞는지(혹은 유효한 솔루션이긴 한지) 확실하게 확인해 볼 필요가 있다
  • 해당 글에서 언급된 대안
    • Prefect
    • Dagster
    • Cadence
    • Temporal
hmkim 2일전  [-]

cwl, wdl, nextflow, snakemake 등도 있습니다

답변달기
kbumsik 1달전  [-]

문제는 어느 정도 규모로 직접 경험해 보기 전 까지는 Airflow가 자신에게 맞는건지 예측하기가 쉽지 않더라고요.
유명한 것 치곤 사전에 알기 힘든 함정들이 좀 있는 거 같아요.

이벤트 기반 DAGrun 트리거 부재, 쉽지 않은 로컬 개발 (2.2에서 airflow standalone 이 생겨서 좀 더 수월해지긴 했어요), 다이나믹하지 않은 DAG 구성, 내부 작동을 잘 모르면 jinja템플랫을 안쓰고 Variable을 잘못 사용하기 쉬운 점 등등...

다음 프로젝트는 한번 Dagster를 경험해 보고 싶네요

답변달기