Code Alpaca - 코드 생성 명령으로 훈련된 LLaMA
(github.com/sahil280114)- 스탠포드 Alpaca 7B/13B 기반으로 개발자가 코딩 작업에 사용하기 좋게 튜닝한 모델
- 코드 생성에 관련된 20K 짜리 Instruction Folowing 데이터로 교체 (Self-Instruct 기술 이용)
- 데이터 생성 파이프라인을 일부 수정: 일반 작업이 아닌 코드 생성/편집/최적화에 관련되게 프롬프트를 변경
- Hugging Face 훈련 코드와 Deepspeed 로 파인 튜닝