▲

Torchchat - LLM과 대화를 어디에서나 가능하게

 (github.com/pytorch)
8P by xguru 2달전 | favorite | 댓글과 토론
  • PyTorch LLM을 로컬에서 실행(서버, 데스크톱, 모바일)할수 있게 해주는 작은 코드 베이스
    • 자체(C/C++) 애플리케이션(데스크톱 또는 서버)과 iOS 및 Android에서 Python을 사용하여 LLM을 실행
  • Llama 3/2, Mistral 등 인기 LLM과의 커맨드 라인 인터랙션
  • 인기 하드웨어 및 OS 지원: Linux(x86), Mac OS(M1/M2/M3), Android(XNNPACK 지원 기기), iOS 17+(iPhone 13 Pro+)
  • 다양한 데이터 유형: float32, float16, bfloat16
  • 다양한 양자화(Quantization) 스킴 지원
  • 멀티 실행 모드 : 파이썬(Eager, 컴파일) 또는 네이티브(AOT 인덕터(AOTI), ExecuTorch)