초대형 AI NLP Model은 어디로 가고 있는가?

현재 상황
- 구글 IO에서 발표한 람다(LaMDA), MS에서 독점 라이센스를 구매한 GPT-3, 페이스북에서 번역 및 콘텐츠 관리용 자체적으로 개발한 LLM(Large Language Model) 등 거대 기업들에서 각자의 초대형 NLP Model들을 개발 중
- 각자 비공개적으로 만들고 있는 모델들이 실생활에 활용될 때, LLM의 결함이 사람들에게 어떤 영향을 미치는지, 어떤 문제가 있고 그걸 해결 할 수 있는 지에 대한 연구는 전무한 상황.
- 지난 12월 구글은 윤리적 AI(Ethical AI) 부서의 공동 팀장 팀닛 게브루(Timnit Gebru)를 해고 되면서 문제가 더 심화됨

새로운 시도를
- 허깅페이스(Huggingface)가 이끄는 빅사이언스(BigScience) 프로젝트에 전 세계에서 500명이 넘는 연구자들이 모여 오픈소스 LLM을 구축하기 위해 박차를 가하고 있다.
- 슈퍼컴퓨터의 생애주기 비용(life-cycle costs)을 고려하여 모델의 훈련과 운용에 따른 탄소발자국을 포함한 LLM의 환경 영향을 측정하는 실무그룹
- 어떻게 하면 책임 있는 방식으로 훈련 데이터를 확보할 수 있을지를 고민하는 실무그룹

---------
요약이 어려워서 요약을 잘 못했는데요.
기술에 대한 걱정 및 희망으로 "기본소득"이라는 아젠다가 나온 것처럼, 작년에 나온 GPT-3에 대한 기대와 우려로 "폐쇄적인 AI 개발에 대한 우려"라는 아젠다가 수면 위로 올라오고 있는 듯 합니다. 2050년 즈음에 이 글을 다시 한번 보고 싶네요.