12P by xguru 27일전 | favorite | 댓글과 토론
  • 머신러닝 모델을 프로덕션 사용가능한 수준으로 패키징 하게 해주는 오픈소스 도구
  • NVidia 기본 이미지 + 캐싱 + 파이썬 + 환경변수 기본값 등 Best Practice가 다 포함된 도커이미지를 쉽게 생성
    → CUDA/cuDNN/PyTorch/TensorFlow/Python 등을 버전 호환되도록
  • Pydantic을 통해서 OpenAPI 스키마를 생성
  • 모델 타입을 통해서 FastAPI 로 RESTful HTTP API를 동적 생성
  • 오래 실행되는 딥러닝 모델 또는 배치 프로세싱을 위해 Redis 기반 큐 워커 제공 (다른 것도 추가예정)
  • ML SaaS인 Replicate 용으로 만들어졌으나, 자신의 인프라에도 사용 가능