Maestro - Netflix의 Workflow Orchestrator 오픈소스

• 완전 관리형 서비스형 워크플로우(WAAS)를 제공하는 범용, 수평 확장 가능한 워크플로 오케스트레이터
  • 데이터 파이프라인 및 머신 러닝 모델 학습 파이프라인 등 대규모 워크플로 관리
  • 재시도, 대기열, 작업 배포 등 워크플로 수명주기 전체를 감독
  • 다양한 형식의 비즈니스 로직 패키지 지원 (Docker 이미지, 노트북, bash 스크립트, SQL, Python 등)
  • DAG(Directed Acyclic Graph)뿐만 아니라 비순환 및 순환 워크플로 모두 지원
  • foreach 루프, 하위 워크플로, 조건 분기 등 여러 재사용 가능한 패턴 포함
  • JSON 형식의 유연하고 강력한 오케스트레이션 정의
  • 주요 속성 (작성자, 소유자 정보, 실행 설정) 일관성 유지
  • 각 워크플로 변경마다 새 버전 생성, 추적 및 쉽게 되돌리기 가능
• 넷플릭스의 데이터 과학자, 데이터 엔지니어, 머신 러닝 엔지니어, 소프트웨어 엔지니어, 콘텐츠 제작자, 비즈니스 분석가 등 수천 명의 사용자가 다양한 유스케이스를 위해 이 서비스를 이용중
  • 서비스가 있다는 것은 2년전에 공개되었고, 이번에 오픈소스로 공개됨
  • ETL 파이프라인, ML 워크플로, AB 테스트 파이프라인 등 다양한 워크플로 사용 사례 지원
  • 수평 확장성으로 많은 수의 워크플로와 개별 워크플로 내의 많은 작업 관리 가능
• 매일 수십만 개의 워크플로우와 수백만 개의 작업을 예약하고 트래픽이 급증하는 상황에서도 엄격한 SLO로 운영되고 있음
  • 넷플릭스내의 기존 수백만 개의 워크플로를 중단 없이 Maestro로 성공적으로 마이그레이션했음
  • 지난 1년 동안 실행된 작업이 87.5% 증가
  • 하루 평균 수십만 개의 작업을 실행하며 바쁜 날에는 약 200만 개의 작업을 완료

[xguru]

이번에 오픈소스로 공개하며 적은 소개글을 AI가 요약해줬네요 : Maestro: Netflix의 워크플로우 오케스트레이터

근데 Maestro 이름을 가진 것들이 너무 많네요 ㅎㅎ
Maestro - 리눅스 호환 가능한 Rust 기반 커널
Maestro - 모바일 앱 자동화 UI 테스팅 프레임워크