# Meta AI, Code Llama 70B 모델 공개

> Clean Markdown view of GeekNews topic #13100. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=13100](https://news.hada.io/topic?id=13100)
- GeekNews Markdown: [https://news.hada.io/topic/13100.md](https://news.hada.io/topic/13100.md)
- Type: GN+
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-01-30T09:36:18+09:00
- Updated: 2024-01-30T09:36:18+09:00
- Original source: [twitter.com/AIatMeta](https://twitter.com/AIatMeta/status/1752013879532782075)
- Points: 11
- Comments: 4

## Topic Body

- LLama 2를 코드에 특화된 데이터 셋으로 더 많은 데이터를 샘플링하고 오래 훈련시킨 코드 생성을 위한 고성능 LLM   
- HumanEval 에서 67.8으로 오픈 모델중 최고의 성능을 보임   
- 이전 라이센스와 마찬가지로 연구/상업적 목적 모두 사용 가능   
- 3가지 모델  
  - CodeLlama-70B  
  - CodeLlama-70B-Python  
  - CodeLlama-70B-Instruct  
- 이제 4가지 사이즈로 제공됨 7B/13B/34B/70B

## Comments



### Comment 22672

- Author: ragingwind
- Created: 2024-01-30T10:32:38+09:00
- Points: 1

M2 Max 이상에서 로컬 실행이 가능하다면 최고의 토이가 될 것 같아요

### Comment 22675

- Author: xguru
- Created: 2024-01-30T10:50:02+09:00
- Points: 1
- Parent comment: 22672
- Depth: 1

양자화되면 아마도 잘 돌아갈듯 하네요. 조금만 기다리면 나오지 않을까요

### Comment 22658

- Author: xguru
- Created: 2024-01-30T09:37:37+09:00
- Points: 1

위 링크는 Meta에 접근 요청하는 링크지만, Hugging Face에는 이미 다 공개 되어 있음   
https://huggingface.co/codellama

### Comment 22657

- Author: neo
- Created: 2024-01-30T09:36:18+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=39178886) 
- Jetbrains 플러그인인 CodeGPT를 개발하여 로컬에서 실행할 수 있음. 해당 플러그인은 [여기](https://plugins.jetbrains.com/plugin/21056-codegpt)에서 확인 가능.
- Hugging Face에서 모델을 확인할 수 있음: [CodeLlama-70b-hf](https://huggingface.co/codellama/CodeLlama-70b-hf).
- ChatGPT와 GitHub Copilot을 사용하는 한 사용자는 VS Code에서 이러한 모델을 어떻게 활용할 수 있는지 궁금해 함. VS Code용 GPT 확장 프로그램이 많지만 대부분 업데이트가 없거나 유료 플랜으로 이어지기 때문에 GitHub Copilot을 계속 사용하는 것이 낫다고 생각함.
- Meta가 오픈 소스 머신러닝에 대한 훌륭한 헌신을 보여준 것에 대해 인정해야 함.
- 작은 코드 모델들이 얼마나 좋은지를 보면, 이 70B 모델이 어떤 능력을 보여줄지 궁금함.
- 많은 사람들이 4090과 작은 모델 사용을 언급하지만, 에너지 소비에 대한 분석은 드물게 볼 수 있음. Microsoft가 Copilot을 크게 보조하고 있다고 생각하며, 하루 중 30%의 시간 동안 Copilot을 사용한다면, 한 달에 4090에서 7B 또는 13B 모델이 소비하는 kWh가 얼마인지, 그리고 에너지 비용이 얼마나 드는지 궁금함.
- 현재 최고의 로컬 Copilot 모델이 무엇인지, vscode에서 비슷한 경험을 제공하는 확장 프로그램이 있는지 궁금함. 4090을 가지고 있으니, 상당한 수의 모델을 실행할 수 있을 것으로 기대함.
- Baptiste Roziere가 최근에 Code Llama에 대한 훌륭한 강연을 했으며, 강연은 [여기](https://m.youtube.com/watch?v=_mhMi-7ONWQ)에서 시청 가능함.
- M2 Max와 같은 기기에서 로컬로 실행할 수 있고 IDE 플러그인을 통해 Copilot과 같은 기능을 할 수 있다면 흥미로움. 프로젝트에서 지루한 문제를 해결하거나 "보일러플레이트" 코드를 작성하는 데 시간을 절약할 수 있어 더 어려운 소프트웨어 엔지니어링 작업에 집중할 수 있음.
- 평균 프로그래머가 필요한 속도로 이를 실행할 장비를 가지고 있지 않을 가능성이 있어, 이 플러그인이 누구를 대상으로 하는지 확실하지 않음. 그럼에도 불구하고 멋진 기능임.