- Meta가 Llama 2를 기반으로 구축된 코딩 전용 모델인 Code Llama를 공개.
- 코드와 자연어 프롬프트에서 코드 생성이 가능하며, 자체 벤치마크 결과 ChatGPT보다 성능이 뛰어났음.
- 5,000억 개의 코드 토큰과 관련 데이터로 훈련된 7B, 13B, 34B 모델을 각각 출시.
- 최대 10만 개의 컨텍스트 토큰을 지원하여 더 긴 프로그램을 작성하거나 상세한 조건, 실제 코드를 프롬프트로 입력하기 용이함.
- Code Llama는 원본 모델 말고도 2가지 추가 변형으로 출시함.
- Code Llama - Python: 1,000억 개의 Python 코드 토큰을 추가하여 미세 조정한 모델.
- Code Llama - Instruct: 50억 개의 명령 토큰으로 미세 조정한 자연어 입력과 코드 출력에 최적화된 모델.
- 다른 모델은 자연어에 최적화 되어 있지 않아 자연어를 통해 코드를 생성할 때는 이 모델을 사용해야 함.
- HumanEval, MBPP를 통해 모델의 성능을 측정한 결과 ChatGPT (GPT 3.5) 와 동등하거나 성능이 높은 것으로 나타남.
- GPT 3.5가 HumanEval에서 48.1%를 기록할 때 Code Llama - Python은 53.7%를 기록함.
- GPT 4는 67%로 아직 갈 길이 남아 있음.
- Code Llama가 악성 코드를 생성할 수 있는 위험을 최소화하기 위해 다양한 안전 조치를 추가함.
- 실제 테스트를 해 보니 ChatGPT에 비해 더 적은 악성 코드를 생성하는 것으로 나타남.