# LIMA - 65B LLaMA 모델과 1000개의 프롬프트만으로 GPT-4에 근접하는 성능을 내기

> Clean Markdown view of GeekNews topic #9239. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9239](https://news.hada.io/topic?id=9239)
- GeekNews Markdown: [https://news.hada.io/topic/9239.md](https://news.hada.io/topic/9239.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-05-23T09:36:28+09:00
- Updated: 2023-05-23T09:36:28+09:00
- Original source: [arxiv.org](https://arxiv.org/abs/2305.11206)
- Points: 24
- Comments: 4

## Topic Body

- "Less Is More for Alignment"  
- 강화학습 이나 선호도 모델링 없이 잘 큐레이트된 1000개의 프롬프트만으로 파인튜닝한 LLaMA 모델  
- 43% 사례에서 GPT-4와 동등하거나 더 선호, Bard와 비교했을 때 58%, 휴먼 피드백으로 훈련한 DaVinci003에 비해 65% 높음   
- 논문의 가설은 LLM의 거의 모든 지식은 Pretraining중에 학습되는 것이며, Alignment는 사용자와 상호작용하는 포맷/스타일을 학습하는 간단한 프로세스 라는 것  
- Meta AI 의 새로운 논문

## Comments



### Comment 16218

- Author: merong
- Created: 2023-05-23T14:57:07+09:00
- Points: 1

세종 프로젝트를 계속 이어 나가서 한글  언어모델 데이타를 오픈소스로 축적했어야함. 정말 아쉬운 프로젝트...

### Comment 16198

- Author: kuroneko
- Created: 2023-05-23T09:49:32+09:00
- Points: 1

영어 성능은 이렇게 빠르게 발전하는데, GPT를 제외한 대부분의 모델은 한국어를 잘 못해서 아쉽네요...

### Comment 16219

- Author: dulco
- Created: 2023-05-23T15:04:23+09:00
- Points: 1
- Parent comment: 16198
- Depth: 1

Anthropic klaude의 한국어 학습이 상당한 수준인데, 아직 ChatGPT보다 구사능력이 일부 달리더군요.

### Comment 16201

- Author: test4458
- Created: 2023-05-23T10:20:57+09:00
- Points: 1
- Parent comment: 16198
- Depth: 1

ㅠㅠ 맞습니다 한국어는 GPT API 말고 전부 쓰레기 수준...