▲GPT4All - LLaMA 기반으로 800k 명령셋으로 훈련된 챗봇 (github.com/nomic-ai)19P by xguru 2023-03-31 | ★ favorite | 댓글과 토론 어시스턴트 스타일 대규모 언어모델 수집된 데이터, 데이터 수집 프로시져, 훈련 코드, 최종 모델 가중치 등을 모두 공개 GPT 3.5 Turbo로 생성된 800k 데이터(코드/스토리/대화)로 훈련 LAION OIG, 스택오버플로우의 코딩 질문, Big-Science/P3 의 명령어 튜닝 등을 기본 데이터 셋으로 활용 스탠포드 알파카 등을 참고하고, 데이터를 ATLAS에 올려서 큐레이션 및 클리닝 진행 함께 보면 좋은 글 β LLaMA 모델의 간략한 역사 ChatLLaMA - LLaMa 기반 ChatGPT의 오픈소스 구현체 Meta, Llama 3.1 공개 ntransformer - 싱글 RTX 3090에서 Llama 3.1 70B를 실행하는 NVMe-to-GPU 추론 엔진 Meta, 다음 주에 Llama 3의 소형 버전 출시 예정 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요