##LLM은 아직 갈길이 멀다

  • LLM은 단순히 많은 정보를 기억했다가 꺼내 쓰는 것에 불과한 것이므로 진짜 사람 수준의 지능을 가졌다고 말할 수 없다. 진짜 사람 수준의 지능이란, 아주 제한된 학습 데이터만을 가지고도 이를 일반화해 처음 만나는 상황에서도 문제를 해결할 수 있는 수준을 말한다.
  • 개와 고양이를 구별하기 위해 사람은 단 몇장의 사진만 보면 되지만, CNN 모델은 25,000장의 사진이 필요하다. 인간의 두뇌는 인공지능과는 비교도 할 수 없이 아주 적은 학습 데이터만 가지고도 아주 빠르고 정확하게 대상을 분류해낼 수 있다.
  • 똑같은 수학 문제를 풀어도 원리를 이해하지 못한 채 비슷한 문제를 풀었던 경험에 기반하여 그때 적합한 공식을 떠올려서 문제를 풀었다면, 이것은 그저 검색을 잘했을 뿐 진짜 지능이라고 보긴 어렵다. 외워서 100점을 맞은 사람과 원리를 이해해서 100점을 맞은 사람을 구별해야 된다.
  • 지금의 LLM이 규모를 키울 수록 성능이 좋아지는 것도, 여전히 환각을 일으키는 것도 바로 이것때문이다. 학습량을 늘리면 꺼내쓸 수 있는 공식이 많아지니 더 많은 상황에 대처가 가능해지는 거고, 꺼내쓸 수 있는 공식을 못찾거나 잘못 찾으면 환각을 일으키는 것.
  • 하지만 공식을 외워서 문제를 푸는 것은 사실 사람도 마찬가지다. 정말 소수의 몇몇을 제외하면 대부분은 외운 공식을 각 상황에 적용하며 살고 있는데, 다만 여기서도 인공지능과 인간 사이에 차이가 있다.
  • 현재의 인공지능은 검색을 얕게 하고 있는 반면, 인간은 꼬리에 꼬리를 무는 사고를 통해 검색을 깊게 할 수 있다.
  • "지능"이라고 부르는 개념은 다시 다음 세 가지 레벨로 구분이 가능하다.
  1. 현상을 보고 원리를 이해해서 다양한 범위에 활용하는 능력 (천재)
  2. 이미 학습된 여러 패턴들을 깊게 살펴보고 최적의 패턴을 활용하는 능력 (보통 사람)
  3. 이미 학습된 여러 패턴들을 얕게 살펴보고 빨리 찾아지는 것을 활용하는 능력 (현재의 LLM)
  • 현재 LLM의 위치는 3번인데 1번으로 가면 베스트고 못해도 2번으로는 가야 우리가 말하는 AGI (Artificial General Intelligence)까지 갈 수 있다.

##백만불 상금이 걸린 ARC Prize

  • 진짜 사람 수준의 지능을 가졌는지 평가하기 위한 테스트 방법을 개발했고, 이걸로 상금 100만불을 지급하는 대회 ARC Prize를 만들었다. (https://www.kaggle.com/competitions/arc-prize-2024)
  • 대회 공식 홈페이지(https://arcprize.org/)에서 퍼즐을 풀어볼 수 있는데 사람에게는 IQ 테스트 정도의 난이도임에도 인공지능은 이 문제를 아직 잘 풀 수 없다.

##성과를 공유해야 발전이 빨라진다

  • OpenAI가 정보를 공유하지 않는 문화를 업계에 퍼트려서 AGI의 등장이 최소 5년에서 10년 정도 미뤄졌다.
  • AGI를 만들기 위해서는 많은 시도가 필요한데, OpenAI가 주목을 끌면서 업계의 인적, 물적 자원이 모두 LLM을 만드는 곳으로만 집중되기 때문.
  • 필연적으로 다른 연구분야는 지원이 줄어들어 성과가 더디게 나온다.
  • 뿐만 아니라, 이전까지와는 달리 OpenAI는 논문을 발표하더라도 기술적인 디테일을 공유해주지 않기 때문에 업계의 다른 연구자들이 이 논문에 기반해 다른 연구를 진행하기가 어렵다.
  • OpenAI의 등장 이전까지만 하더라도 Attention is all you need 논문같이 여러 기관들의 연구자들이 소속에 관계없이 협력하여 인공지능의 빠른 발전을 가져왔는데, OpenAI가 자신들의 발견을 업계와 나누지 않는 문화를 퍼트려서 업계의 발전을 저해하고 있다.
  • ARC Prize 대회를 통해 연구자들이 다시 성과를 활발히 공유해서 업계의 발전이 다시 빨라질 것을 기대하고 있다.