# Alpaca와 온디바이스 LLM개발의 가속화

> Clean Markdown view of GeekNews topic #8705. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8705](https://news.hada.io/topic?id=8705)
- GeekNews Markdown: [https://news.hada.io/topic/8705.md](https://news.hada.io/topic/8705.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-03-15T11:19:23+09:00
- Updated: 2023-03-15T11:19:23+09:00
- Original source: [simonwillison.net](https://simonwillison.net/2023/Mar/13/alpaca/)
- Points: 11
- Comments: 0

## Topic Body

- "[SD Moment가 온다](https://news.hada.io/topic?id=8684)" 글 이후 3일간의 변화들   
  - [llama.cpp](https://news.hada.io/topic?id=8682)로 4GB 라즈베리파이에서 실행. 토큰당 10초  
  - [Dalai](https://news.hada.io/topic?id=8693) 로 간단히 실행 가능해짐   
  - llama.cpp로 Pixel6 에서 토큰당 26초 구현후 Pixel 5에서 토큰당 1초로 개선   
  - 스탠포드가 [LLaMA 7B를 파인튜닝한 Alpaca](https://news.hada.io/topic?id=8692)를 릴리즈   
### Stanford's Alpaca   
- LLaMA 모델의 큰 약점은 질문-답변을 위한 "명령어-튜닝"이 부족하다는 것  
- OpenAI의 큰 혁신중 하나는 GPT-3에 명령어 튜닝을 추가한 것  
- 스탠포드는 여기에 52000개의 훈련 예제를 제공하고 $100 만으로 훈련 가능하게 해줌   
- 가장 작은 7B 모델은 이제 라즈베리파이/모바일 폰에서도 도는데, 매우 인상적인 결과를 뽑아내줌   
- 하지만, 아직 상업용은 아님(3가지 이유에서 불가능. LLaMA의 라이센스/명령어셋 데이터를 OpenAI 모델에서 만들어냄/안전조치를 설계하지 않음)  
### 이게 의미하는 바는?   
- LLaMA의 라이센스 모델은 나에게 별로 상관없음   
- LLaMA는 GPT-3 클래스 언어 모델을 일반적으로 사용가능한 자원으로 훈련 가능하다는 것을 보여줬음   
- llama.cpp 는 LLM을 4GB 수준의 소비자 하드웨어에서 실행가능하다는 것을 보여줬음   
- Alpaca는 52K의 예제와 $100의 비용으로도 7B 모델(4bit 양자화로 4GB로 줄인) 파인 튜닝이 가능하며, 최신 text-davinci-003 과 비슷한 결과를 낼수 있다는 것을 보여줌   
  - 비교에 사용한 것은 7B 풀모델(13.48GB, 16bit 부동소수점) 이지 4bit로 줄인 4GB 모델이 아니긴 한데, 둘 사이의 품질 차이를 확실하게 비교한 자료는 아직 못봤음

## Comments



_No public comments on this page._