Cog : 머신러닝을 위한 컨테이너 도구

• 머신러닝 모델을 프로덕션 사용가능한 수준으로 패키징 하게 해주는 오픈소스 도구
• NVidia 기본 이미지 + 캐싱 + 파이썬 + 환경변수 기본값 등 Best Practice가 다 포함된 도커이미지를 쉽게 생성
  → CUDA/cuDNN/PyTorch/TensorFlow/Python 등을 버전 호환되도록
• Pydantic을 통해서 OpenAPI 스키마를 생성
• 모델 타입을 통해서 FastAPI 로 RESTful HTTP API를 동적 생성
• 오래 실행되는 딥러닝 모델 또는 배치 프로세싱을 위해 Redis 기반 큐 워커 제공 (다른 것도 추가예정)
• ML SaaS인 Replicate 용으로 만들어졌으나, 자신의 인프라에도 사용 가능