# RedPajama, HELM 벤치마크에서 공개된 다른 7B LLM 모델보다 뛰어난 성능을 갖는 7B 모델 공개

> Clean Markdown view of GeekNews topic #9339. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9339](https://news.hada.io/topic?id=9339)
- GeekNews Markdown: [https://news.hada.io/topic/9339.md](https://news.hada.io/topic/9339.md)
- Type: news
- Author: [ninebow](https://news.hada.io/@ninebow)
- Published: 2023-06-07T01:01:15+09:00
- Updated: 2023-06-07T01:01:15+09:00
- Original source: [together.xyz](https://www.together.xyz/blog/redpajama-7b)
- Points: 15
- Comments: 3

## Topic Body

**RedPajama-INCITE-7B 모델 3종 소개**  
- HELM 벤치마크 기준, 기존 공개된 7B 모델들보다 뛰어난 RedPajama-INCITE-7B-Instruct 모델을 포함하여 7B짜리 3종 모델을 공개  
  
##### RedPajama-INCITE-7B-Instruct 모델  
- 기존 모델의 Instruct 튜닝 버전  
- P3 (BigScience) 및 Natural Instruction (AI2)을 사용하여 학습  
- HELM 벤치마크에서 가장 높은 점수를 받은 개방형 모델로 다양한 작업에 이상적  
  
##### RedPajama-INCITE-7B-Chat 모델  
- Dolly2 및 OASST 등과 같은 오픈소스 데이터만을 사용하여 학습 ➡️ 상업적 사용 가능  
  - (+ Chat 모델 뿐만 아니라, RedPajama-INCITE 모델군은 모두 상업적 사용 가능)  
- 파인튜닝을 위한 학습 스크립트를 포함하여 공개 :arrow_forward: OpenChatKit에서 바로 사용 가능  
- RedPajama.cpp(LLaMA.cpp의 fork)를 지원 - CPU에서 실행 가능  
- MLC LLM등의 프로젝트와 협력 ➡️ 향후 다양한 하드웨어 상에서 동작 가능하게 할 것  
  
##### RedPajama-INCITE-7B-Base 모델  
  
- EleutherAI의 Pythia 모델과 동일한 아키텍처를 사용, RedPajama-Data-1T 데이터셋으로 학습  
- 🤗HuggingFace의 togethercomputer/RedPajama-INCITE-7B-Base에서 다운로드 가능  
- HELM 벤치마크 기준 LLaMA-7B보다 4점, Falcon-7B/MPT-7B보다 1.3점 가량 낮은 성능  
  - logprob를 사용하여 정답/오답 간의 확률 차이를 계산하는 작업들에서만 낮은 성능  
  - 답을 직접 생성하고 품질을 측정하는 작업에서는 비슷한 성능을 보임  
  - LM Harness 결과도 logprob를 사용하므로 비슷하게 낮은 성능을 보임  
  
##### 향후 계획 (RedPajama2)  
- 아래와 같은 계획으로 2~3T 토큰의 새로운 데이터셋 RedPajama2 개발 중:  
  - DoReMi와 같은 기술을 사용하여 데이터 혼합의 균형을 맞출 예정  
  - 다양성과 크기를 보완하기 위해 Eleuther.ai의 Pile v1 및 CarperAI의 Pile v2 등의 데이터 사용  
  - 더 많은 양의 CommonCrawl 데이터 처리  
  - LLaMA 논문의 접근 방법 외의 다양한 데이터 중복 제거 전략 탐색  
  - 150B 이상의 코드 토큰을 추가하여 코딩과 추론(reasoning) 작업의 품질 개선

## Comments



### Comment 16427

- Author: ninebow
- Created: 2023-06-07T16:49:58+09:00
- Points: 1

앗.. 제목에 오타가 있었네요ㅠ  
@xguru님, 혹시 제목의 HEML을 HELM으로 변경해주실 수 있으실련지요ㅠ

### Comment 16430

- Author: moderator
- Created: 2023-06-08T08:49:03+09:00
- Points: 1
- Parent comment: 16427
- Depth: 1

수정해두었습니다!

### Comment 16415

- Author: ninebow
- Created: 2023-06-07T01:04:58+09:00
- Points: 1

##### 더 읽어보기   
  
* [(GN) RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트](https://news.hada.io/topic?id=8984)  
* [(GN) RedPajama 3B, 7B 모델 공개](https://news.hada.io/topic?id=9124)  
* [(GN) OpenChatKit 공개 - ChatGPT를 구현 가능한 오픈소스 프로젝트](https://news.hada.io/topic?id=8681)  
* [(⚠️광고⚠️) 파이토치 한국어 커뮤니티에서 동일한 내용 읽기](https://discuss.pytorch.kr/t/redpajama-heml-7b-llm-7b-redpajama-7b-now-available-instruct-model-outperforms-all-open-7b-models-on-helm-benchmarks/1748)