Ploomber - 빠르게 데이터 파이프라인을 만들어주는 오픈소스 프레임워크
(ploomber.io)- Jupyter/VSCode/PyCharm등을 이용해서 개발
- 코드 변경없이 프로덕션 서버에 배포 : 쿠버네티스, AWS Batch, Airflow, Kubeflow, Slurm 등
- 기존 노트북을 모듈러한 파이프라인으로 리팩토링 가능
# 주요 기능
- YAML을 이용하여 빠르게 개발
- 강력한 Python API로 유연함 제공
- 자동으로 파이프라인의 이전 결과를 캐쉬하고 이전 실행에서 바뀐 것만 재계산
- 쉘스크립트 또는 쿠버네티스,Airfllow,AWS Batch 등으로 분산 배포