# StableLM 공개 - Stability AI의 공개 언어 모델

> Clean Markdown view of GeekNews topic #9003. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9003](https://news.hada.io/topic?id=9003)
- GeekNews Markdown: [https://news.hada.io/topic/9003.md](https://news.hada.io/topic/9003.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-04-20T11:22:02+09:00
- Updated: 2023-04-20T11:22:02+09:00
- Original source: [github.com/Stability-AI](https://github.com/Stability-AI/StableLM)
- Points: 24
- Comments: 2

## Topic Body

- 3B/7B 모델을 공개, 15B/30B/65B 모델도 공개 예정이고 175B까지 계획중  
- 모델은 CC BY-SA-4.0 라이센스로 출처 표기시 상업적 이용 가능   
- 오픈 데이터셋인 The Pile에 기반했지만 3배 크기인 1.5T 토큰을 가지는 새로운 데이터셋으로 훈련   
- 컨텍스트 길이는 4096 토큰  
- PoC로 Alpaca 프로시져를 따라서 파인튜닝한 StableLM-Tuned-Alpha-7B 모델도 공개   
   - 5개의 대화형 데이터셋을 이용 : Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, Anthropic's HH  
   - 챗봇 데모는 Hugging Face에 공개

## Comments



### Comment 15759

- Author: laeyoung
- Created: 2023-04-20T16:12:51+09:00
- Points: 1

좋다좋다!

### Comment 15750

- Author: xguru
- Created: 2023-04-20T11:23:02+09:00
- Points: 1

Stable Diffusion 공개로 시장 가속이 일어났듯이, 언어 모델도 이제 공개적으로 사용가능한 데이터와 사용 사례들이 쏟아지겠네요.