-
Code Llama는 코딩을 위해 설계된 최첨단 대형 언어 모델(LLM)로, 코드와 자연어 프롬프트 모두에서 코드와 코드에 대한 자연어를 생성할 수 있습니다.
- 이는 Llama 2 위에 구축되었으며, 세 가지 모델로 제공됩니다: Code Llama (기본 코드 모델), Code Llama - Python (Python 전문), Code Llama - Instruct (자연어 지시사항 이해에 맞춰 조정).
- Code Llama는 연구 및 상업적 사용에 무료이며, Llama 2와 동일한 커뮤니티 라이선스에 따라 출시되었습니다.
- 이 모델은 코드 완성 및 디버깅에 사용할 수 있으며, Python, C++, Java, PHP, Typescript (Javascript), C#, Bash 등 많은 인기 언어를 지원합니다.
- Code Llama는 각각 7B, 13B, 34B 매개변수로 세 가지 크기로 제공되며, 각각 코드 및 코드 관련 데이터의 500B 토큰으로 훈련되었습니다.
- 이 모델들은 다양한 서비스 및 대기 시간 요구 사항에 맞춰 제공되며, 34B 모델은 최상의 결과를 제공하고, 더 작은 7B 및 13B 모델은 빠르고 낮은 대기 시간을 요구하는 작업에 더 적합합니다.
- Code Llama 모델은 최대 100,000 토큰의 컨텍스트를 처리할 수 있어, 더 긴 프로그램을 생성하고 더 큰 코드베이스를 디버깅하는 데 유용합니다.
- Code Llama - Python (Python 코드의 100B 토큰에 특화) 및 Code Llama - Instruct (자연어로 도움이 되고 안전한 답변을 생성하도록 조정)의 두 가지 추가 변형이 조정되었습니다.
- Code Llama는 벤치마크 테스트에서 코드 작업에 대한 다른 공개적으로 사용 가능한 LLM들을 능가했으며, HumanEval에서 53.7%, Mostly Basic Python Programming (MBPP)에서 56.2%를 기록했습니다.
- Code Llama와 관련된 위험을 완화하기 위한 안전 조치가 취해졌으며, 악의적인 코드를 생성하는 위험에 대한 정량적 평가를 포함합니다.
- Code Llama의 훈련 레시피와 모델 가중치는 **Code Llama GitHub 저장소**에서 확인할 수 있습니다.
- **Code Llama 연구 논문**은 모델의 개발, 한계, 그리고 미래의 도전에 대한 자세한 내용을 제공합니다.
- 개발자들은 또한 하위 모델을 책임감 있게 개발하는 방법에 대한 지침을 포함하기 위해 Responsible Use Guide를 업데이트했습니다.
- Code Llama는 모든 분야의 소프트웨어 엔지니어를 지원하고, 다른 사람들이 Llama 2를 활용하여 연구 및 상업용 제품에 대한 새로운 혁신적인 도구를 만드는 데 영감을 주도록 설계되었습니다.