- ML 실험 추적을 자동화하기 위해 만든 프레임워크
- 다른 실험 추적 도구와는 달리 지속성, 쿼리 및 버전 관리 로직을 프로그래밍 언어 자체의 일반적인 부분으로 만듦
- 목표는 대화형 세션에서처럼 지속성에 대해 생각하지 않고도 표현력이 풍부한 계산 코드를 작성할 수 있고, 이후에도 버전이 관리되고 쿼리가 가능한 저장소의 모든 이점을 누릴 수 있도록 하는 것
- 두 가지 범용 도구를 사용하여 ML 실험 추적(및 그 이상)에 필요한 노력과 코드 오버헤드를 제거함:
-
@op 데코레이터:
- Python 함수 호출의 입력, 출력 및 코드(+종속성) 캡처
- 과거 결과를 자동으로 재사용하고 동일한 호출을 두 번 계산하지 않음
- 스토리지 백엔드에 대해 생각하지 않고 일반 Python에서 효율적인 반복적 개발을 가능하게 하는 end-to-end 지속형 프로그램으로 구성되도록 설계됨
- ComputationFrame 데이터 구조:
-
명령형 코드의 실행을 변수와 연산의 고수준 계산 그래프로 자동 구성함. 피드백 루프, 분기/병합, 집계/인덱싱과 같은 패턴을 감지함
- 열이 그래프의 변수와 연산이고 각 행이 그래프의 (부분일 수 있는) 실행의 값/호출을 포함하는 데이터프레임을 추출하여 변수 간의 관계를 쿼리함
-
@op 호출의 이기종 "웹"에 대한 탐색 및 고수준 작업을 자동화함