# MPT-7B, 상업적으로 이용 가능한 오픈소스 LLM

> Clean Markdown view of GeekNews topic #9132. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9132](https://news.hada.io/topic?id=9132)
- GeekNews Markdown: [https://news.hada.io/topic/9132.md](https://news.hada.io/topic/9132.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-05-09T09:41:02+09:00
- Updated: 2023-05-09T09:41:02+09:00
- Original source: [mosaicml.com](https://www.mosaicml.com/blog/mpt-7b)
- Points: 14
- Comments: 2

## Topic Body

- 1조개의 토큰으로 학습된 트랜스포머   
- LLaMA-7B와 비슷한 품질이지만 오픈소스, 상업적 이용 가능   
- 추가로 3개의 파인튜닝 모델도 공개  
  - MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+(65K 토큰 지원)  
- MosaicML 플랫폼에서 9.5일간 약 ~$200K 비용으로 학습했고, 자신만의 MPT 모델을 훈련, 파인튜닝, 디플로이 가능   
- MPT: Mosaic Pretrained Transformers

## Comments



### Comment 15990

- Author: kuroneko
- Created: 2023-05-09T09:50:01+09:00
- Points: 1

요즘 상업적 사용 가능한 오픈소스 LLM 모델이 엄청나게 출시하는걸 보면  
LLM계의 Stable Diffusion이 되기 위해 경쟁하는 것 같네요.  
  
우승 승자가 누가 될지 기대됩니다. +_+

### Comment 15991

- Author: xguru
- Created: 2023-05-09T09:56:14+09:00
- Points: 2
- Parent comment: 15990
- Depth: 1

일단 ChatGPT로 먼저 연동해서 개발하고, 나중에 가장 발전된 오픈소스로 교체하는게 좋은 대안일 것 같아요.