State of GPT [42분 영상]
(build.microsoft.com)- Andrej Karpathy가 Build 2023에서 발표한 내용
- 2개 파트로 구성
- (Chat)GPT 비서를 훈련시키는 방법
- 이 비서를 자신의 어플리케이션에 적용시키는 방법
- Tokenization, Pretraining, Supervised Finetuning, Reinforcement Learning from Human Feedback 등에 대해서 폭넓게 설명하고,
프롬프트 전략 및 다양한 에코시스템 도구들과 미래 확장들까지 소개
요약해보니 이렇게 나오는군요.
- GPT와 같은 대형 언어 모델은 대량의 텍스트 데이터에 대한 사전 훈련 단계와 특정 작업에 대한 세부 조정으로 이루어진 미세 조정을 통해 훈련됩니다.
- 사전 훈련은 일반적인 언어 표현을 학습하기 위해 시퀀스에서 다음 단어를 예측하는 것을 포함합니다. 미세 조정은 모델을 특정 작업에 적응시킵니다.
- 프롬프팅(prompting)은 모델에 응답을 생성하도록 프롬프트(prompt)를 제공하여 미세 조정 없이 언어 모델을 작업에 적용하는 데 사용될 수도 있습니다.
- 지도 학습 미세 조정은 프롬프트와 이상적인 응답의 레이블이 지정된 데이터를 사용하여 어시스턴트 모델을 훈련합니다.
- 인간 피드백에서 강화 학습을 수행하여 인간이 높게 평가하는 응답을 생성하도록 어시스턴트 모델을 훈련함으로써 성능을 더욱 개선할 수 있습니다.
- 모델의 작업 과정을 단계별로 보여주거나 예시를 제공하는 프롬프팅 엔지니어링 기술은 언어 모델의 성능을 향상시킬 수 있습니다.
- 언어 모델은 인간이 가지고 있는 내부 모노로그 및 추론 능력이 부족하기 때문에 프롬프팅이 이를 보완해야 합니다.
- 언어 모델에 외부 도구, 계산기 및 지식 베이스에 대한 액세스 권한을 부여하면 성능을 향상시킬 수 있습니다.
- 특정 작업을 위해 언어 모델의 일부를 미세 조정하는 것은 성능을 높일 수 있지만 더 복잡합니다.
- 편견, 추론 오류 및 공격에 취약하다는 언어 모델의 여러 가지 제한 사항이 여전히 존재합니다.