25P by xguru 2023-04-16 | favorite | 댓글과 토론
  • llama.cpp 를 이용해서 6b 파라미터 Salesforce Codegen 모델을 4GiB 램에서 실행
  • 미리 변환해둔 모델(2B/6B) 모델 제공 (C/C++/Go/Java/JavaScript/Python으로 사전 학습) 또는 자신이 직접 변환 가능
  • TurboPilot 서버를 바이너리로 실행하거나 도커로 실행
    • 멀티코어중 몇개의 CPU를 사용할 것인지 지정 가능
  • VSCode용 FauxPilot Plugin 이용