Alpaca.cpp - ChatGPT 같은 모델을 개인 노트북에서 실행하기

• LLaMA 와 Alpaca, 그리고 llama.cpp 를 합쳐서 조정한 뒤 채팅 인터페이스를 붙인 것
• Alpaca-7b-q4 모델을 이용
• M2 맥북에어 에서도 꽤 빠른 속도로 생성

[readiz]

https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/…

모델 찾으시는 분들이 있을거 같아..

[draupnir]

요즘 진짜 무슨 전쟁난 거 같아요 뉴스 따라잡기가 ㄷㄷ

[pugh123]

와우~정말 특이점이 온 것 같습니다....

[daumkakao]

어마어마하네염 ㄷㄷㄷㄷ 그리고 이제 하드웨어 사양의 표준이 되어버린 애플실리콘 ㄷㄷㄷ

[ffdd270]

저 정도 속도면 ChatGPT 터보 모델과 비교해서도 손색이 없네요. 너무 놀랍습니다.

[xguru]

아 정말 하루가 다르게 뭔가 막 쏟아지네요.

LLM에 Stable Diffusion Moment가 오고 있다