KoGPT - 한국어 AI언어모델 오픈소스 공개
(github.com)- 카카오브레인이 만든 GPT-3 모델의 한국어 특화 버전
ㅤ→ 60억개의 매개변수와 2000억개 토큰의 한국어 데이터를 바탕으로 구축
- 주어진 문장의 긍정과 부정 판단, 긴 문장 한줄 요약, 문장 추론해 결론 예측, 질문 문맥 이해하여 답변하기 등 모든 종류의 언어 과제 수행
- 한국어 시작으로 영어, 일본어, 베트남어, 말레이시아어 모델 오픈소스화 예정
- 오픈소스로 개방해 접근성 보장, 국내 IT 기술 발전과 연구 활성화에 기여 목표
데모 사이트: https://huggingface.co/spaces/akhaliq/kogpt
여기에 샘플로 들어가 있던 다음 문장을 그대로 입력했더니, 큐 대기까지 약 2분이 걸려서 이런 결과가 나오는군요. 실제 처리에 사용한 시간은 약 16.9초 정도인 모양입니다.
input:
“인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던”
output:
“인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 무수한 질문에 답을 해야 하는 시대가 왔다. c Pixabay 우리 인류가 지난 수만 년을 지나오면서 인간다운 삶을 살기 위해 해결해야 했던 가장 중요한”
GPT-J-6B, Cedille, KoGPT 모두 60억개(6B) 파라미터 군요.
- GPT-3는 이제 시장에서 유일하지 않음 https://news.hada.io/topic?id=5349
- GPT-Neo : GPT-3 규모의 모델을 오픈소스/무료로 만드는 프로젝트 https://news.hada.io/topic?id=3599
- Cedille - 6B규모의 프랑스어 모델을 오픈소스로 공개 https://news.hada.io/topic?id=5372