- OpenAI CEO Sam Altman은 ChatGPT를 탄생시킨 연구 전략이 이제는 더 이상 유효하지 않으며, 인공지능의 미래 발전을 위해서는 새로운 아이디어가 필요하다고 말함
- OpenAI는 기존의 머신러닝 알고리즘을 확장하여 GPT-4와 같은 언어 모델을 만들었지만, 앞으로는 모델의 크기를 더 키우는 것만으로는 발전이 어려울 것이라고 함
- GPT-4의 개발에는 1억 달러 이상이 소요되었으며, 물리적인 한계로 인해 데이터 센터 확장에도 제약이 있음
- GPT-4 이후의 AI 연구 방향
- Cohere의 공동창업자 Nick Frosst도 모델의 크기 확장만으로는 한계가 있다는 점에 동의함
- 새로운 AI 모델 설계(아키텍처)와 인간 피드백을 통한 미세 조정 등이 유망한 연구 방향이 될 수 있음
- GPT 시리즈 모델의 발전 과정
- 2019년 발표된 GPT-2는 15억 개의 파라미터를 가진 대형 모델이었음
- 2020년 GPT-3는 1,750억 개의 파라미터로 크기가 대폭 증가하였고, 이는 다른 기업과 연구 기관도 유사한 크기의 모델 개발을 추진하는 계기가 됨
- GPT-4의 정확한 크기는 공개되지 않았지만, 단순히 규모를 키우는 것 외에도 인간 피드백을 통한 강화학습 등의 기법이 사용되었을 것으로 추측됨
- GPT-4의 등장으로 인한 사회적 영향과 논란
- GPT-4의 놀라운 능력은 전문가들을 놀라게 했으며, AI가 경제를 변화시키고 일자리를 없앨 수 있다는 우려를 낳고 있음
- 일론 머스크 등 일부 전문가와 기업가들은 GPT-4보다 강력한 AI 개발을 6개월 동안 중단할 것을 요구하는 공개 서한을 발표함
- 알트만 CEO는 현재 OpenAI가 GPT-5를 개발하고 있지 않으며, 당분간은 개발할 계획이 없다고 밝힘
GN⁺의 의견
- GPT-4와 같은 대형 언어 모델의 개발에는 막대한 비용과 컴퓨팅 자원이 소요되므로, 이를 지속적으로 확장하는 것은 현실적으로 어려움이 있음. 따라서 알트만 CEO의 발언처럼 새로운 연구 방향을 모색하는 것이 필요해 보임
- 인간 피드백을 통한 강화학습 등 모델의 성능을 향상시키는 다양한 기법들이 연구되고 있으므로, 단순히 모델의 크기 확장이 아닌 알고리즘 자체의 혁신을 통해 AI의 발전이 이루어질 것으로 예상됨
- GPT-4와 같은 강력한 AI 모델의 등장으로 사회 전반에 큰 변화가 예상되므로, 기술 개발과 함께 그에 따른 윤리적, 법적 문제에 대한 사회적 합의를 모색하는 노력도 필요할 것으로 보임
- AI 기술이 빠르게 발전하면서 일자리 대체 등의 부작용에 대한 우려가 제기되고 있으나, 동시에 새로운 일자리 창출과 생산성 향상의 기회도 있으므로 장기적 관점에서 대응 방안을 모색해야 함
- 대형 AI 모델 개발에서 중소 스타트업들이 경쟁력을 갖추기는 쉽지 않아 보이므로, 특화된 분야에서의 혁신이나 개발 플랫폼 제공 등 새로운 비즈니스 모델을 모색할 필요가 있어 보임