StarCoder, BigCode 프로젝트가 공개한 코드용 LLM
(huggingface.co)- 80+개의 프로그래밍 언어에 대해서 1조개의 토큰으로 훈련된 15.5B 모델
- 효율적인 생성을 위해 MQA를 새용하여, 8192 토큰 컨텍스트 윈도우를 가짐
- StarCoderBase : 80개 이상의 언어 데이터를 가진 The-Stack v1.2(6TB) 데이터셋으로 훈련
- StarCoder : Python에 대해서 좀 더 훈련한 모델
- Chat Demo 및 VSCode 용 확장 제공
트위터 공지 글에 있는 논문 링크입니다. :)
https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view
HuggingFace Chat에서 바로 사용할 수 있게 공개도 되어있네요. :)
https://huggingface.co/chat/?model=bigcode/starcoder