LLaMA-rs - Rust로 구현한 LLaMA

• llama.cpp 를 Rust로 포팅한 프로젝트
• f16 또는 4-bit quntized 버전 모델 지원
• 원본과 같이 ggml 텐서 라이브러리를 그대로 이용해서 오리지널과 같은 퍼포먼스

[xguru]

LLaMA의 Rust 구현체는 RLLaMA - Rust+OpenCL+AVX2 도 있습니다.

llama.cpp - 페이스북의 LLaMA 모델을 순수 C/C++로 추론하기