11P by xguru 2023-09-07 | favorite | 댓글과 토론
  • 원래 Python 으로 구현되어 있던 모델을 GGML 라이브러리를 이용해서 C++로 포팅
  • 경량화된 코드를 통해 다양한 곳에서 이용 가능
  • 원작성자 Georgi Gerganov의 이름을 딴 GGML은 llama.cpp/whisper.cpp 를 만드는데 사용한 양자화 지원 텐서 라이브러리
    • GPU보다는 CPU에 최적화. 특히 애플 실리콘 M1/M2