13P by xguru 2023-08-10 | favorite | 댓글과 토론
  • 프로그래머들의 일일 작업을 도와주고, 신규 개발자들이 스킬을 다음 단계로 올리는데 도움을 주는 도구
  • 3가지 다른 모델을 사용
    • 베이스모델 : BigCode 의 Stack-dataset(v.12)로 훈련. 560B 토큰
    • 인스트럭션모델 : 복잡한 프로그래밍 작업을 도와주기 위해 12만개의 코드 인스트럭션/답변 페어(알파카 포맷)으로 베이스모델 기반 훈련
    • 긴 컨텍스트 윈도우 모델 : 16k 토큰을 지원해서 더 많은 코드를 한번에 핸들링