▲

GN⁺: 얀 르쿤이 LLM에 대해 옳았다고 생각합니다(우연일 수도 있지만)

 (substack.com)
21P by neo 5일전 | ★ favorite | 댓글 2개
  • 최근 몇 년간 AGI(Artificial General Intelligence, 범용 인공지능) 에 대한 논의가 급증함
  • AGI의 정확한 정의는 불분명하고 논란이 많으며, AGI 타임라인을 설정하는 것이 일반적인 토론 방식이 됨
    • "장기 타임라인": AGI가 10~20년 후 도래할 것이라는 관점
    • "단기 타임라인": AGI가 곧 등장할 것이라는 주장
  • 하지만 이런 방식으로 AI의 발전을 논하는 것은 비효율적임
    • AGI라는 종착지를 향해 가는 것이 아니라, AI의 생산성이 증가하는 과정으로 보는 것이 더 적절함
    • AI는 점점 더 적은 인간 개입으로 많은 작업을 수행할 수 있도록 발전하고 있음
      • 예: 데이터 라벨링, 코드 작성, 수학 문제 해결, 자율주행, 자동 비행 등
    • 그러나 AI가 영원히 인간 개입 없이 작동하는 지점에 도달할지는 불확실함
    • 우리는 AI가 주어진 입력 대비 얼마나 많은 가치를 생성할 수 있는지를 측정해야 함
  • AI의 발전은 인간이 투입한 노력 대비 AI가 생산하는 경제적 가치의 증가로 볼 수 있음
  • 중요한 질문:
    • AI가 무한히 발전하여 인간 개입 없이 경제적 가치를 창출할 수 있을까?
    • 아니면, 일정 수준에서 기술적 한계에 도달할까?
  • 만약 AI가 완전히 인간 개입 없이 경제적 가치를 창출할 수 있다면, 이는 상당히 위험한 결과일 수도 있음

우리는 이미 이 현상을 본 적이 있음 (자율주행 자동차)

  • AI 업계에서 언어 모델 붐 이전, 2017년경 자율주행 자동차 열풍이 있었음
    • 당시 여러 기업이 완전 자율주행(Full Self-Driving, FSD) 자동차를 1년 내 출시하겠다고 선언하며 수십억 달러의 투자를 유치했음
    • 수백만 마일이 주행되었고, 많은 회사가 설립되었지만 일부는 결국 파산함
  • 여전히 완전한 FSD는 실현되지 않음
    • 테슬라는 여전히 완전 자율주행이 불가능하며, 웨이모(Waymo)는 특정한 사전 매핑된 지역에서만 부분적으로 작동 가능
    • 여전히 간헐적인 인간 개입이 필요함

2016년, 테슬라 CEO 일론 머스크(Elon Musk)의 예측:
"올해 안에 테슬라가 로스앤젤레스에서 뉴욕까지 완전히 자율주행할 것이다."
→ 하지만 2024년 현재까지도 실현되지 않음 (테슬라는 여전히 "Full Self-Driving" 구독 옵션을 판매 중)

  • 이제는 자율주행이 완전히 가능할지 여부를 논하는 대신, "마일당 인간 개입 횟수(miles-per-intervention)" 를 측정하는 것이 더 현실적인 접근법이 됨
    • 즉, 한 번의 인간 개입 없이 차가 얼마나 멀리 주행할 수 있는지를 측정하는 방식
  • 최신 보고서에 따르면, 테슬라는 평균 13마일당 한 번 인간 개입이 필요함
    • 더 큰 AI 모델, 더 빠른 추론 속도, 더 많은 데이터, 개선된 엔지니어링이 도입되면 이 수치는 증가할 가능성이 큼
    • 그러나 현재 기술로 이 수치가 무한대로 증가할 수 있을지는 불확실함
  • 즉, 자율주행 모델이 무한히 발전하여 인간 개입이 완전히 불필요해질지, 아니면 일정 수준에서 한계에 도달할지 아직 모름

Yann Lecun이 틀렸던 이유 (부분적으로)

  • Meta의 최고 AI 과학자인 Yann Lecun은 과거에 언어 모델이 인간 수준의 지능에 도달할 수 없다고 주장했음
  • 이유: 언어 모델은 토큰 단위로 출력을 생성하는데, 매 토큰마다 오류가 발생할 확률이 있으며, 이 오류가 누적되면 결국 성능이 저하될 것이라는 논리였음
  • 그는 이러한 오류 누적 문제를 언어 모델의 치명적인 한계로 보았으며, 이를 해결하려면 현재의 자기회귀(autoregressive) 방식을 포기해야 한다고 주장했음
  • 그러나 현실은 달랐음
    • 최신 AI 시스템(OpenAI o1/o3, DeepSeek R1 등)은 이 가설을 정면으로 반박함
    • 이들은 여전히 자기회귀 방식이지만, 오히려 더 긴 출력을 생성할수록 성능이 향상됨
    • DeepSeek R1의 연구에서는, 모델이 길게 생각할수록 정답을 맞힐 확률이 증가하는 패턴이 나타남

      DeepSeek R1 보고서의 그래프를 보면 모델이 더 긴 출력을 생성할수록 성능이 향상됨 → Yann Lecun의 가설과 정면 충돌

  • 모델이 스스로 오류를 수정하는 방법
    • 기존의 논리는 오류가 토큰 단위로 누적될 수밖에 없다는 가정에 기반했음
    • 하지만 최신 연구에서는 모델이 자체적으로 오류를 수정할 수 있는 메커니즘을 갖추고 있음
    • 예를 들어, 특정 패턴의 토큰을 생성하면 중간에 확률적으로 더 나은 답을 찾아가는 경향이 관찰됨

      DeepSeek R1의 예시: 모델이 특정 지점에서 "더 나은 답"을 찾아가는 과정 → Yann Lecun이 불가능하다고 주장했던 것

  • 현재 일부 연구자들은 이러한 자기 수정(self-correction) 메커니즘을 분석하고, 어떻게 하면 더 효과적으로 유도할 수 있을지 연구 중
  • 다만, 이 방식이 코딩, 수학 문제 같은 특정 유형의 문제에서만 적용되는 것인지는 아직 불확실함

Yann Lecun이 맞았던 이유 (부분적으로)

  • Yann Lecun의 가설이 완전히 틀린 것은 아님
  • 최신 연구가 그의 "오류 누적" 가설을 반박했지만, 언어 모델이 무한히 정확한 출력을 생성할 수 없다는 점은 여전히 사실임
  • 즉, AI는 영원히 독립적으로 작동할 수 없음
  • 완전 자율 에이전트(FAA)의 한계
    • 많은 연구자들이 장기간 작업을 수행할 수 있는 AI 에이전트(Agents) 를 개발하려고 함
    • 하지만 이는 완전 자율주행(FSD) 자동차를 개발하는 것과 비슷한 문제를 가짐
    • 즉, 현재 기술 스택으로는 완전히 자율적인 AI 시스템이 불가능할 수 있음
  • 인간 입력의 중요성
    • 가장 신뢰할 수 있는 정보는 인간이 직접 입력한 프롬프트에서 나옴
    • 일부 도구(예: 항공편 조회, 날씨 확인 등)를 통해 AI가 추가 데이터를 얻을 수 있지만, 무작정 긴 출력을 생성한다고 정답 확률이 무한히 증가하지 않음
    • 인간 개입 없이 AI가 무한히 유용한 출력을 생성할 가능성은 낮음

AI 연구에서 AGI 논의를 지양해야 하는 이유

  • 언어 모델의 진행 상황을 AGI 타임라인으로 측정하는 것은 잘못된 방법
  • 더 나은 질문은 "AI가 인간 개입 없이 얼마나 오래 효과적으로 작업할 수 있는가?"여야 함
  • 자율주행의 "마일당 인간 개입 횟수"처럼, 언어 모델도 "인간 개입 없이 얼마나 오랫동안 정확한 출력을 생성할 수 있는지"을 측정하는 것이 더 실용적인 접근법
  • 완전히 인간 개입 없이 작동하는 AI(FAA, Fully Autonomous Agent)를 기다리기보다, 현재의 "유용한 AI 작업량 증가"라는 연속적인 발전 과정을 인식하는 것이 중요함
  • 완전한 AGI가 아니더라도, 현재 기술이 제공하는 경제적 가치는 충분히 의미 있음
  • 따라서, AGI가 언제 도달할지 논하는 것보다 AI의 실질적인 생산성을 개선하는 것이 더 바람직한 방향
▲
princox 2일전  [-]

"AI는 영원히 독립적으로 작동할 수 없음"

이 부분이 인상깊네요.

답변달기
▲
neo 5일전  [-]
Hacker News 의견

  • 사티아 나델라가 AGI에 대해 언급함

    • 마이크로소프트의 수익보다 중요한 것은 AGI에 대한 과도한 기대를 조절하는 것임
    • 선진국의 경제 성장률은 2%에 불과하며, 인플레이션을 고려하면 거의 0%임
    • 2025년에는 경제 성장의 도전이 있을 것임
    • 산업혁명과 같은 성장을 이루어야 함
    • 기술 기업이 아닌 AGI를 활용하는 산업이 승자가 될 것임
    • 생산성이 증가하고 경제가 빠르게 성장할 때 산업도 발전할 것임
    • AGI의 성과를 자화자찬하는 것은 의미가 없으며, 세계 경제가 10% 성장하는 것이 진정한 기준임

  • 사람들에게 일을 제공하는 방법을 찾는 것이 중요함

    • AGI에서 ASI로의 마케팅 변화는 함정임
    • "긱" 경제에 대한 비판에도 불구하고, 많은 사람들이 Uber나 DoorDash를 통해 더 나은 생활을 하고 있음
    • Uber와 DoorDash는 일상 생활에 가치가 있음
    • 배달원에게 팁을 주며 그들이 최저임금보다 더 많은 돈을 벌 수 있도록 함
    • 모든 사람이 자가 학습으로 소프트웨어 엔지니어가 되거나 기업가가 될 수 있는 것은 아님
    • 사람들에게 일을 제공하는 것이 중요함

  • LLM의 "추론"에 대한 회의감이 커짐

    • DeepSeek과 Grok의 결과를 통해 LLM의 한계를 볼 수 있었음
    • 모델이 비효율적이거나 잘못된 경로로 빠지는 경우가 있음
    • 예를 들어, Grok 3가 특정 카드 이름을 반복적으로 확인하는 데 10분을 소비함
    • 모델이 자기 강화된 비생산적 행동에 빠지는 경우가 있음

  • 자율주행차에 대한 논의

    • 테슬라는 아직 완전 자율주행이 불가능하며, Waymo는 특정 지역에서만 가능함
    • 일부 AI 시스템은 더 긴 출력을 생성하면서 더 나아짐
    • 그러나 긴 출력이 모델을 더 좋게 만드는 것은 아님
    • LeCun의 주장은 언어 모델의 오류 누적 문제를 지적함

  • AGI와 인간형 로봇에 대한 과도한 기대

    • AGI보다 경제적 이익에 초점을 맞춰야 함
    • AGI는 인간의 99.99%를 능가하는 것이 목표임

  • AGI에 대한 사람들의 기대

    • 사람들은 AGI가 아닌 다른 것을 원함
    • AGI가 자율성을 가지면 통제할 수 없게 됨
    • 사람들은 기술적으로 뛰어나지만 지시를 따르는 전문가를 원함

  • 언어 확산 모델의 성공

    • 오류 누적 문제를 해결하기 위해 리마스킹 전략을 사용함
    • 여러 토큰을 동시에 예측하는 데 성공적임

  • AI의 경제적 가치에 대한 질문

    • AI가 인간의 생산성을 높일 때 경제적 가치는 누구에게 전달될 것인가
    • 인간 고용이 줄어들면 경제적 가치 분배에 대한 계획이 필요함

  • AI와 인간의 꿈 비교

    • AI가 현실 모델을 기반으로 시나리오를 생성하고 확장하는 방식이 꿈과 유사할 수 있음
    • LLM에 실시간 입력을 추가하여 "깨어나게" 할 수 있을지 궁금함
답변달기