6P by xguru 2023-07-01 | favorite | 댓글 2개
  • Microsoft의 Orca 논문 내용을 가져다가 오픈소스로 복제하여 만든 것
    • GPT-4 Completion으로 보강된 약 1백만개의 FLANv2
    • GPT-3.4 Completion으로 보강된 약 3.5백만개의 FLANv2
  • FLAN-1m 데이터셋에 있는 75k CoT 전체를 포함
  • 현재는 LLaMA-13B 파운데이션위에서 전체 가중치에 대한 파인튜닝 진행중이서 Microsoft 의 것과 성능이 비슷해 질것
    • 7월 중순쯤에 OpenOrca-LLaMA-13b 를 릴리즈 할 수 있을 것
  • OpenOrca 를 다른 플랫폼(Falcon, LLaMA, MPT 등)에 적용하기 위한 GPU 컴퓨팅 스폰서를 찾는 중

앗, 링크가 404네요

데이터셋은 HuggingFace의 Open-Orca/OpenOrca에서 확인하실 수 있습니다! :D

엇 글을 지웠나 보네요.

WaybackMachine 에는 남아 있습니다.

https://web.archive.org/web/20230629002546/…

링크는 올려준 HuggingFace 링크로 수정해두었습니다.