MPT-7B, 상업적으로 이용 가능한 오픈소스 LLM
(mosaicml.com)- 1조개의 토큰으로 학습된 트랜스포머
- LLaMA-7B와 비슷한 품질이지만 오픈소스, 상업적 이용 가능
- 추가로 3개의 파인튜닝 모델도 공개
- MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+(65K 토큰 지원)
- MosaicML 플랫폼에서 9.5일간 약 ~$200K 비용으로 학습했고, 자신만의 MPT 모델을 훈련, 파인튜닝, 디플로이 가능
- MPT: Mosaic Pretrained Transformers
요즘 상업적 사용 가능한 오픈소스 LLM 모델이 엄청나게 출시하는걸 보면
LLM계의 Stable Diffusion이 되기 위해 경쟁하는 것 같네요.
우승 승자가 누가 될지 기대됩니다. +_+