# RedPajama 3B, 7B 모델 공개

> Clean Markdown view of GeekNews topic #9124. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9124](https://news.hada.io/topic?id=9124)
- GeekNews Markdown: [https://news.hada.io/topic/9124.md](https://news.hada.io/topic/9124.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-05-08T10:01:01+09:00
- Updated: 2023-05-08T10:01:01+09:00
- Original source: [together.xyz](https://www.together.xyz/blog/redpajama-models-v1)
- Points: 7
- Comments: 2

## Topic Body

- 완전한 개방형 언어 모델을 만들기 위한 프로젝트  
- 3주전 공개한 RedPajama-Data-1T 데이터셋을 기반으로 3B(완료), 7B(프리뷰) 파라미터의 RedPajama-INCITE 모델들을 공개   
  - Base 모델   
  - Instruction-Tuned 모델   
  - Chat 모델   
- 3B 모델은 동급에서 가장 강력. 크기가 작아서 빠르고 5년전 출시된 RTX 2070 같은 장비에서도 실행 가능   
- 명령어 튜닝 버전의 7B 모델은 HELM 벤치마크에서 LLaMA 7B 보다 3점 더 높음   
- 7B 모델(훈련 80% 완료)은 이미 Pythia 7B 모델을 뛰어넘음   
- 몇주내로 7B 훈련이 완료되면, LLaMA 7B를 넘어설 것  
- 3B 모델은 8000억개의 토큰으로 안정화 되었고, 7B 모델은 1조개의 토큰으로 훈련완료중이며 개선중

## Comments



### Comment 15952

- Author: coremaker
- Created: 2023-05-08T10:14:15+09:00
- Points: 1

연구나 AI 발전에 중요한 사건이지만,  
이런 모델들은 상업적으로 이용 시 문제가 되는 부분에 대한 해결책을 제시하지 않을 가능성이 높습니다.  
상업적으로는 모델 사용과 더불어 튜닝이나 추가적인 필터를 구비해야하는 등의 작업이 꼭 동반되어야할 것 같아요.

### Comment 15951

- Author: xguru
- Created: 2023-05-08T10:02:02+09:00
- Points: 1

[RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트](https://news.hada.io/topic?id=8984)