# MosaicML, MPT-7B-8K 모델 공개

> Clean Markdown view of GeekNews topic #9910. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9910](https://news.hada.io/topic?id=9910)
- GeekNews Markdown: [https://news.hada.io/topic/9910.md](https://news.hada.io/topic/9910.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-07-21T10:02:02+09:00
- Updated: 2023-07-21T10:02:02+09:00
- Original source: [mosaicml.com](https://www.mosaicml.com/blog/long-context-mpt-7b-8k)
- Points: 9
- Comments: 0

## Topic Body

- 8k 컨텍스트 길이를 지원하는 7B 파라미터 오픈소스 LLM  
- MPT-7B에 추가로 500B 토큰 데이터를 이용해 256개의 NVidia H100 으로 3일간 트레이닝   
- 3개의 모델을 공개 : MPT-7B-8k, MPT-7B-8k-Instruct, MPT-7B-8k-Chat   
- 상업적 용도로 사용 가능   
- ALiBi(Attention with Linear Biases Enables Input Length Extrapolation) 로 8k 입력 지원   
- FlashAttention 과 FasterTrasformer 로 빠른 훈련과 추론

## Comments



_No public comments on this page._