21P by xguru 12달전 | favorite | 댓글과 토론
  • 스탠포드 Alpaca 7B/13B 기반으로 개발자가 코딩 작업에 사용하기 좋게 튜닝한 모델
  • 코드 생성에 관련된 20K 짜리 Instruction Folowing 데이터로 교체 (Self-Instruct 기술 이용)
  • 데이터 생성 파이프라인을 일부 수정: 일반 작업이 아닌 코드 생성/편집/최적화에 관련되게 프롬프트를 변경
  • Hugging Face 훈련 코드와 Deepspeed 로 파인 튜닝