▲llama.cpp - 페이스북의 LLaMA 모델을 순수 C/C++로 추론하기 (github.com/ggerganov)16P by xguru 2023-03-13 | ★ favorite | 댓글 1개 맥북에서 LLaMA 모델을 4-bit 양자화하여 실행하는 것을 목표 의존성 없는 순수 C/C++ 구현 Arm Neon/Accelerate 프레임워크에 최적화(애플 실리콘) x86용 AVX2 지원 혼합 F16/F32 정밀도 4-bit quntization 지원 CPU에서 실행 현재는 맥/리눅스만 지원. 윈도우 지원 예정 함께 보면 좋은 글 β Alpaca.cpp - ChatGPT 같은 모델을 개인 노트북에서 실행하기 Gemma.cpp: Gemma 모델을 위한 경량 & 스탠드얼론 C++ 추론 엔진 LLaMa.cpp가 어떻게 가능할까? GGML·llama.cpp, Hugging Face 합류 로컬에서 Llama 2 실행하는 방법 안내 인증 이메일 클릭후 다시 체크박스를 눌러주세요 ▲laeyoung 2023-03-14 [-]7B 모델 돌려봤는데 생각보다 잘 돌아가네요 답변달기