4P by xguru 3달전 | favorite | 댓글 1개
  • 완전 관리형 서비스형 워크플로우(WAAS)를 제공하는 범용, 수평 확장 가능한 워크플로 오케스트레이터
    • 데이터 파이프라인 및 머신 러닝 모델 학습 파이프라인 등 대규모 워크플로 관리
    • 재시도, 대기열, 작업 배포 등 워크플로 수명주기 전체를 감독
    • 다양한 형식의 비즈니스 로직 패키지 지원 (Docker 이미지, 노트북, bash 스크립트, SQL, Python 등)
    • DAG(Directed Acyclic Graph)뿐만 아니라 비순환 및 순환 워크플로 모두 지원
    • foreach 루프, 하위 워크플로, 조건 분기 등 여러 재사용 가능한 패턴 포함
    • JSON 형식의 유연하고 강력한 오케스트레이션 정의
    • 주요 속성 (작성자, 소유자 정보, 실행 설정) 일관성 유지
    • 각 워크플로 변경마다 새 버전 생성, 추적 및 쉽게 되돌리기 가능
  • 넷플릭스의 데이터 과학자, 데이터 엔지니어, 머신 러닝 엔지니어, 소프트웨어 엔지니어, 콘텐츠 제작자, 비즈니스 분석가 등 수천 명의 사용자가 다양한 유스케이스를 위해 이 서비스를 이용중
    • 서비스가 있다는 것은 2년전에 공개되었고, 이번에 오픈소스로 공개됨
    • ETL 파이프라인, ML 워크플로, AB 테스트 파이프라인 등 다양한 워크플로 사용 사례 지원
    • 수평 확장성으로 많은 수의 워크플로와 개별 워크플로 내의 많은 작업 관리 가능
  • 매일 수십만 개의 워크플로우와 수백만 개의 작업을 예약하고 트래픽이 급증하는 상황에서도 엄격한 SLO로 운영되고 있음
    • 넷플릭스내의 기존 수백만 개의 워크플로를 중단 없이 Maestro로 성공적으로 마이그레이션했음
    • 지난 1년 동안 실행된 작업이 87.5% 증가
    • 하루 평균 수십만 개의 작업을 실행하며 바쁜 날에는 약 200만 개의 작업을 완료

이번에 오픈소스로 공개하며 적은 소개글을 AI가 요약해줬네요 : Maestro: Netflix의 워크플로우 오케스트레이터

근데 Maestro 이름을 가진 것들이 너무 많네요 ㅎㅎ
Maestro - 리눅스 호환 가능한 Rust 기반 커널
Maestro - 모바일 앱 자동화 UI 테스팅 프레임워크