GN⁺: Meta AI, Code Llama 70B 모델 공개
(twitter.com/AIatMeta)- LLama 2를 코드에 특화된 데이터 셋으로 더 많은 데이터를 샘플링하고 오래 훈련시킨 코드 생성을 위한 고성능 LLM
- HumanEval 에서 67.8으로 오픈 모델중 최고의 성능을 보임
- 이전 라이센스와 마찬가지로 연구/상업적 목적 모두 사용 가능
- 3가지 모델
- CodeLlama-70B
- CodeLlama-70B-Python
- CodeLlama-70B-Instruct
- 이제 4가지 사이즈로 제공됨 7B/13B/34B/70B
위 링크는 Meta에 접근 요청하는 링크지만, Hugging Face에는 이미 다 공개 되어 있음
https://huggingface.co/codellama
Hacker News 의견
- Jetbrains 플러그인인 CodeGPT를 개발하여 로컬에서 실행할 수 있음. 해당 플러그인은 여기에서 확인 가능.
- Hugging Face에서 모델을 확인할 수 있음: CodeLlama-70b-hf.
- ChatGPT와 GitHub Copilot을 사용하는 한 사용자는 VS Code에서 이러한 모델을 어떻게 활용할 수 있는지 궁금해 함. VS Code용 GPT 확장 프로그램이 많지만 대부분 업데이트가 없거나 유료 플랜으로 이어지기 때문에 GitHub Copilot을 계속 사용하는 것이 낫다고 생각함.
- Meta가 오픈 소스 머신러닝에 대한 훌륭한 헌신을 보여준 것에 대해 인정해야 함.
- 작은 코드 모델들이 얼마나 좋은지를 보면, 이 70B 모델이 어떤 능력을 보여줄지 궁금함.
- 많은 사람들이 4090과 작은 모델 사용을 언급하지만, 에너지 소비에 대한 분석은 드물게 볼 수 있음. Microsoft가 Copilot을 크게 보조하고 있다고 생각하며, 하루 중 30%의 시간 동안 Copilot을 사용한다면, 한 달에 4090에서 7B 또는 13B 모델이 소비하는 kWh가 얼마인지, 그리고 에너지 비용이 얼마나 드는지 궁금함.
- 현재 최고의 로컬 Copilot 모델이 무엇인지, vscode에서 비슷한 경험을 제공하는 확장 프로그램이 있는지 궁금함. 4090을 가지고 있으니, 상당한 수의 모델을 실행할 수 있을 것으로 기대함.
- Baptiste Roziere가 최근에 Code Llama에 대한 훌륭한 강연을 했으며, 강연은 여기에서 시청 가능함.
- M2 Max와 같은 기기에서 로컬로 실행할 수 있고 IDE 플러그인을 통해 Copilot과 같은 기능을 할 수 있다면 흥미로움. 프로젝트에서 지루한 문제를 해결하거나 "보일러플레이트" 코드를 작성하는 데 시간을 절약할 수 있어 더 어려운 소프트웨어 엔지니어링 작업에 집중할 수 있음.
- 평균 프로그래머가 필요한 속도로 이를 실행할 장비를 가지고 있지 않을 가능성이 있어, 이 플러그인이 누구를 대상으로 하는지 확실하지 않음. 그럼에도 불구하고 멋진 기능임.