# BigCode - 오픈소스로 만드는 코드 생성용 AI 제작 프로젝트

> Clean Markdown view of GeekNews topic #7501. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=7501](https://news.hada.io/topic?id=7501)
- GeekNews Markdown: [https://news.hada.io/topic/7501.md](https://news.hada.io/topic/7501.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2022-09-29T11:12:02+09:00
- Updated: 2022-09-29T11:12:02+09:00
- Original source: [bigcode-project.org](https://www.bigcode-project.org/)
- Points: 10
- Comments: 4

## Topic Body

- GitHub의 Copilot에 사용되는 OpenAI의 Codex 와 같은 기능을 제공하는 소스코드용 LLM(Large Language Model)을 만드는 오픈 프로젝트   
- Hugging Face와 ServiceNow R&D가 협업해서 만들 예정  
- 코드 생성 시스템을 훈련하기 위한 규모의 데이터셋을 제공하는게 목표   
- Codex 보다도 큰 150억개 파라미터 셋

## Comments



### Comment 12547

- Author: xguru
- Created: 2022-09-29T11:13:01+09:00
- Points: 1

아무래도 비용이 드는 CoPilot 은 이래저래 제약이 있으니,   
Stable Diffusion 처럼 큰 변화를 일으켜주면 좋겠네요.

### Comment 12548

- Author: ffdd270
- Created: 2022-09-29T11:30:19+09:00
- Points: 1
- Parent comment: 12547
- Depth: 1

Stable Diffusion처럼 로컬에서도 동작하면 좋을 것 같아요. 아무래도 Copliot은 (아무리 코드 프라이버시를 잘지키고, 암호화도 한다고 해도) 외부 통신이 필요하고. 그 통신에 소스코드가 포함되서 꺼리짐하더라고요.

### Comment 12549

- Author: laeyoung
- Created: 2022-09-29T11:36:39+09:00
- Points: 1
- Parent comment: 12548
- Depth: 2

그렇긴 하네요.  
  
현실적으로는 LLM(Large Language Model)이라 그냥 로컬로 직접으로는 안될거 같고 on-prem에 넣을 수 있는 사이즈 정도만 되도 쓸만할거 같아요. 150억개 파라미터면, GPT-2(15억개)와 GPT-3(1750억개) 사이 사이즈의 파라미터를 가지고 있는데 되려나...ㅠ

### Comment 12552

- Author: ffdd270
- Created: 2022-09-29T13:55:11+09:00
- Points: 1
- Parent comment: 12549
- Depth: 3

GPT-2는 로컬로 돌릴 수 있.. 었던 걸로 알고 있답니다. Tabnine이 그 모델 기반인데, 로컬 모델을 제공해주고 있거든요.