Code Llama - 코딩을 위한 최첨단 거대 언어 모델
(ai.meta.com)- Meta가 Llama 2를 기반으로 구축된 코딩 전용 모델인 Code Llama를 공개.
- 코드와 자연어 프롬프트에서 코드 생성이 가능하며, 자체 벤치마크 결과 ChatGPT보다 성능이 뛰어났음.
- 5,000억 개의 코드 토큰과 관련 데이터로 훈련된 7B, 13B, 34B 모델을 각각 출시.
- 최대 10만 개의 컨텍스트 토큰을 지원하여 더 긴 프로그램을 작성하거나 상세한 조건, 실제 코드를 프롬프트로 입력하기 용이함.
- Code Llama는 원본 모델 말고도 2가지 추가 변형으로 출시함.
- Code Llama - Python: 1,000억 개의 Python 코드 토큰을 추가하여 미세 조정한 모델.
- Code Llama - Instruct: 50억 개의 명령 토큰으로 미세 조정한 자연어 입력과 코드 출력에 최적화된 모델.
- 다른 모델은 자연어에 최적화 되어 있지 않아 자연어를 통해 코드를 생성할 때는 이 모델을 사용해야 함.
- HumanEval, MBPP를 통해 모델의 성능을 측정한 결과 ChatGPT (GPT 3.5) 와 동등하거나 성능이 높은 것으로 나타남.
- GPT 3.5가 HumanEval에서 48.1%를 기록할 때 Code Llama - Python은 53.7%를 기록함.
- GPT 4는 67%로 아직 갈 길이 남아 있음.
- Code Llama가 악성 코드를 생성할 수 있는 위험을 최소화하기 위해 다양한 안전 조치를 추가함.
- 실제 테스트를 해 보니 ChatGPT에 비해 더 적은 악성 코드를 생성하는 것으로 나타남.
Llama 2와 동일한 라이선스로 출시되었습니다.
StarCoder도 약간 아쉽다고 알고 있었는데, 이제 진짜 Copilot의 대안이 생긴 걸까요?
아무튼 이런 거 생각하면 GPT 4가 성능이 진짜 대단하긴 한가 봐요.
한국어도 잘하고, 벤치마크에서도 GPT 4는 성능이 훨씬 높다고 나오니...
GPT 3.5도 한국어는 다른 개방형 모델에 비해 월등하고요.
한국어로도 동작하는 오픈 소스 코드 생성 모델이 생기길 기원합니다.