10P by xguru 2022-08-04 | favorite | 댓글과 토론
  • 로컬에서 호스트 되는 CoPilot을 만들기 위한 시도
  • SalesForce CodeGen 모델 사용 : NVidia Triton Inference Server + FasterTransformaer Backend
  • 요구사항 : Docker , docker-compose >= 1.28, NVIDIA GPU(모델을 돌리기에 충분한 VRAM 필요)