RedPajama-INCITE-7B 모델 3종 소개
- HELM 벤치마크 기준, 기존 공개된 7B 모델들보다 뛰어난 RedPajama-INCITE-7B-Instruct 모델을 포함하여 7B짜리 3종 모델을 공개
RedPajama-INCITE-7B-Instruct 모델
- 기존 모델의 Instruct 튜닝 버전
- P3 (BigScience) 및 Natural Instruction (AI2)을 사용하여 학습
- HELM 벤치마크에서 가장 높은 점수를 받은 개방형 모델로 다양한 작업에 이상적
RedPajama-INCITE-7B-Chat 모델
- Dolly2 및 OASST 등과 같은 오픈소스 데이터만을 사용하여 학습 ➡️ 상업적 사용 가능
- (+ Chat 모델 뿐만 아니라, RedPajama-INCITE 모델군은 모두 상업적 사용 가능)
- 파인튜닝을 위한 학습 스크립트를 포함하여 공개 :arrow_forward: OpenChatKit에서 바로 사용 가능
- RedPajama.cpp(LLaMA.cpp의 fork)를 지원 - CPU에서 실행 가능
- MLC LLM등의 프로젝트와 협력 ➡️ 향후 다양한 하드웨어 상에서 동작 가능하게 할 것
RedPajama-INCITE-7B-Base 모델
- EleutherAI의 Pythia 모델과 동일한 아키텍처를 사용, RedPajama-Data-1T 데이터셋으로 학습
- 🤗HuggingFace의 togethercomputer/RedPajama-INCITE-7B-Base에서 다운로드 가능
- HELM 벤치마크 기준 LLaMA-7B보다 4점, Falcon-7B/MPT-7B보다 1.3점 가량 낮은 성능
- logprob를 사용하여 정답/오답 간의 확률 차이를 계산하는 작업들에서만 낮은 성능
- 답을 직접 생성하고 품질을 측정하는 작업에서는 비슷한 성능을 보임
- LM Harness 결과도 logprob를 사용하므로 비슷하게 낮은 성능을 보임
향후 계획 (RedPajama2)
- 아래와 같은 계획으로 2~3T 토큰의 새로운 데이터셋 RedPajama2 개발 중:
- DoReMi와 같은 기술을 사용하여 데이터 혼합의 균형을 맞출 예정
- 다양성과 크기를 보완하기 위해 Eleuther.ai의 Pile v1 및 CarperAI의 Pile v2 등의 데이터 사용
- 더 많은 양의 CommonCrawl 데이터 처리
- LLaMA 논문의 접근 방법 외의 다양한 데이터 중복 제거 전략 탐색
- 150B 이상의 코드 토큰을 추가하여 코딩과 추론(reasoning) 작업의 품질 개선