-
Code Llama는 코딩 작업을 위해 특별히 설계된 최첨단 대형 언어 모델(LLM)입니다.
- 코드와 자연어 프롬프트 모두에서 코드와 코드에 대한 자연어를 생성할 수 있습니다.
- Code Llama는 Llama 2 위에 구축되었으며, 기본 코드 모델, Python 전문 모델, 자연어 지시사항을 이해하기 위해 미세 조정된 모델 세 가지로 제공됩니다.
- 이 모델은 연구와 상업적 사용 모두에게 무료이며, 코드 작업에서 다른 공개적으로 사용 가능한 LLM들을 능가합니다.
- Code Llama는 프로그래머가 더욱 견고하고 잘 문서화된 소프트웨어를 작성하는 데 도움이 되는 생산성 도구로, 코드를 배우는 사람들에게 진입 장벽을 낮추는 교육 도구로 사용될 수 있습니다.
- 이 모델은 Python, C++, Java, PHP, Typescript (Javascript), C#, Bash 등 많은 인기 언어를 지원합니다.
- Code Llama는 각각 7B, 13B, 34B의 파라미터를 가진 세 가지 크기로 제공되며, 각각 코드와 코드 관련 데이터의 500B 토큰으로 훈련되었습니다.
- 다양한 모델은 다른 서비스와 대기 시간 요구 사항에 맞춰 제공되며, 34B 모델은 최상의 결과를 제공하고, 작은 모델은 빠르고 낮은 대기 시간을 요구하는 작업에 더 적합합니다.
- Code Llama는 최대 100,000 토큰의 컨텍스트를 처리할 수 있어, 더 긴 프로그램을 생성하고 더 큰 코드베이스를 디버깅하는 데 유용합니다.
- Code Llama - Python과 Code Llama - Instruct 두 가지 추가 변형이 미세 조정되었으며, 이들은 각각 Python 코드에 특화되고, 자연어로 도움이 되고 안전한 답변을 생성하는 데 미세 조정되었습니다.
- Code Llama는 HumanEval과 Mostly Basic Python Programming (MBPP) 코딩 벤치마크를 사용한 벤치마크 테스트에서 다른 오픈 소스, 코드 전용 LLM들과 Llama 2를 능가했습니다.
- Code Llama를 출시하기 전에 안전 조치가 취해졌으며, 이에는 모델이 악의적인 코드를 생성하는 위험에 대한 정량적 평가가 포함되었습니다.
- Code Llama의 훈련 레시피와 모델 가중치는 GitHub에서 사용할 수 있으며, 그 개발, 벤치마킹 테스트, 한계, 미래의 도전은 연구 논문에서 자세히 설명되어 있습니다.
- Code Llama의 창조자들은 AI 모델, 특히 코딩용 LLM이 개방적인 접근법에서 가장 큰 이익을 얻는다고 믿으며, 이를 통해 전체 커뮤니티가 그들의 능력을 평가하고 문제를 식별하고 취약점을 수정할 수 있습니다.
- 개발자들은 Code Llama를 책임감 있게 사용하도록 권장되며, 이에는 하위 모델 개발, 콘텐츠 정책 정의, 데이터 준비, 모델 미세 조정, 성능 평가 및 개선, 위험 대응, 사용자 상호작용에서의 투명성 및 보고 메커니즘 구축에 대한 지침을 따르는 것이 포함됩니다.
- Code Llama는 모든 분야의 소프트웨어 엔지니어를 지원하고, 다른 사람들이 Llama 2를 활용하여 연구 및 상업 제품에 대한 새로운 혁신적인 도구를 만드는 데 영감을 주도록 설계되었습니다.