# Maestro - Netflix의 Workflow Orchestrator 오픈소스

> Clean Markdown view of GeekNews topic #15990. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15990](https://news.hada.io/topic?id=15990)
- GeekNews Markdown: [https://news.hada.io/topic/15990.md](https://news.hada.io/topic/15990.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-07-24T09:41:02+09:00
- Updated: 2024-07-24T09:41:02+09:00
- Original source: [github.com/Netflix](https://github.com/Netflix/maestro)
- Points: 4
- Comments: 1

## Summary

넷플릭스의 Maestro는 데이터 파이프라인 및 머신 러닝 모델 학습 파이프라인 등 대규모 워크플로를 관리 가능한 오픈소스 워크플로 오케스트레이터입니다. 다양한 형식의 비즈니스 로직 패키지를 지원하며, 수평 확장성으로 많은 수의 워크플로와 작업을 효율적으로 관리할 수 있습니다. 또한, 넷플릭스 내에서 수백만 개의 워크플로를 중단 없이 마이그레이션하고, 매일 수십만 개의 작업을 엄격한 SLO로 운영하고 있습니다.

## Topic Body

- 완전 관리형 서비스형 워크플로우(WAAS)를 제공하는 범용, 수평 확장 가능한 워크플로 오케스트레이터  
  - 데이터 파이프라인 및 머신 러닝 모델 학습 파이프라인 등 대규모 워크플로 관리  
  - 재시도, 대기열, 작업 배포 등 워크플로 수명주기 전체를 감독  
  - 다양한 형식의 비즈니스 로직 패키지 지원 (Docker 이미지, 노트북, bash 스크립트, SQL, Python 등)  
  - DAG(Directed Acyclic Graph)뿐만 아니라 비순환 및 순환 워크플로 모두 지원  
  - foreach 루프, 하위 워크플로, 조건 분기 등 여러 재사용 가능한 패턴 포함  
  - JSON 형식의 유연하고 강력한 오케스트레이션 정의  
  - 주요 속성 (작성자, 소유자 정보, 실행 설정) 일관성 유지  
  - 각 워크플로 변경마다 새 버전 생성, 추적 및 쉽게 되돌리기 가능  
- 넷플릭스의 데이터 과학자, 데이터 엔지니어, 머신 러닝 엔지니어, 소프트웨어 엔지니어, 콘텐츠 제작자, 비즈니스 분석가 등 수천 명의 사용자가 다양한 유스케이스를 위해 이 서비스를 이용중   
  - 서비스가 있다는 것은 2년전에 공개되었고, 이번에 오픈소스로 공개됨   
  - ETL 파이프라인, ML 워크플로, AB 테스트 파이프라인 등 다양한 워크플로 사용 사례 지원  
  - 수평 확장성으로 많은 수의 워크플로와 개별 워크플로 내의 많은 작업 관리 가능  
- 매일 수십만 개의 워크플로우와 수백만 개의 작업을 예약하고 트래픽이 급증하는 상황에서도 엄격한 SLO로 운영되고 있음   
  - 넷플릭스내의 기존 수백만 개의 워크플로를 중단 없이 Maestro로 성공적으로 마이그레이션했음  
  - 지난 1년 동안 실행된 작업이 87.5% 증가  
  - 하루 평균 수십만 개의 작업을 실행하며 바쁜 날에는 약 200만 개의 작업을 완료

## Comments



### Comment 27507

- Author: xguru
- Created: 2024-07-24T09:42:01+09:00
- Points: 1

이번에 오픈소스로 공개하며 적은 소개글을 AI가 요약해줬네요 : [Maestro: Netflix의 워크플로우 오케스트레이터](https://news.hada.io/topic?id=15993)  
  
근데 Maestro 이름을 가진 것들이 너무 많네요 ㅎㅎ  
[Maestro - 리눅스 호환 가능한 Rust 기반 커널](https://news.hada.io/topic?id=12674)  
[Maestro - 모바일 앱 자동화 UI 테스팅 프레임워크](https://news.hada.io/topic?id=14216)
