# StarCoder, BigCode 프로젝트가 공개한 코드용 LLM

> Clean Markdown view of GeekNews topic #9126. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9126](https://news.hada.io/topic?id=9126)
- GeekNews Markdown: [https://news.hada.io/topic/9126.md](https://news.hada.io/topic/9126.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-05-08T10:31:01+09:00
- Updated: 2023-05-08T10:31:01+09:00
- Original source: [huggingface.co](https://huggingface.co/bigcode)
- Points: 16
- Comments: 3

## Topic Body

- 80+개의 프로그래밍 언어에 대해서 1조개의 토큰으로 훈련된 15.5B 모델  
- 효율적인 생성을 위해 MQA를 새용하여, 8192 토큰 컨텍스트 윈도우를 가짐   
  - StarCoderBase : 80개 이상의 언어 데이터를 가진 The-Stack v1.2(6TB) 데이터셋으로 훈련  
  - StarCoder : Python에 대해서 좀 더 훈련한 모델   
- Chat Demo 및 VSCode 용 확장 제공

## Comments



### Comment 15970

- Author: ninebow
- Created: 2023-05-08T12:55:11+09:00
- Points: 1

트위터 공지 글에 있는 논문 링크입니다. :)  
  
https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

### Comment 15969

- Author: ninebow
- Created: 2023-05-08T12:48:08+09:00
- Points: 1

HuggingFace Chat에서 바로 사용할 수 있게 공개도 되어있네요. :)  
https://huggingface.co/chat/?model=bigcode/starcoder

### Comment 15953

- Author: xguru
- Created: 2023-05-08T10:32:02+09:00
- Points: 1

[SantaCoder - 11억개(1.1B) 파라미터로 학습한 코드 생성 모델](https://news.hada.io/topic?id=8130)