▲

일리야 수츠케버: 우리는 확장의 시대에서 연구의 시대로 이동하고 있다

 (dwarkesh.com)
2P by GN⁺ 24시간전 | ★ favorite | 댓글 1개
  • AI 모델의 일반화 한계와 강화학습(RL) 중심 훈련의 편향을 지적하며, 현재 시스템이 인간처럼 유연하게 사고하지 못하는 구조를 설명
  • 전이학습(pre-training) 은 방대한 데이터로부터 자연스러운 지식을 얻지만, 실제 환경에서의 적응력은 부족하다고 평가
  • 확장의 시대(2012~2025)가 끝나고, 이제는 새로운 학습 원리와 연구 중심의 혁신이 필요한 시점으로 진단
  • SSI는 지속적 학습(continual learning) 과 현실 배포를 통한 학습을 결합해 인간 수준의 학습 능력을 갖춘 모델을 목표로 함
  • 인공지능이 ‘감정과 가치 함수’ , ‘일반화 능력’ , ‘윤리적 정렬(alignment)’ 을 통합해야 한다는 관점에서, 향후 AI 연구의 방향성을 제시

모델의 불안정성과 일반화 문제

  • 현재 AI 모델은 평가(evals) 에서는 뛰어나지만 실제 환경에서는 반복적 오류를 보이는 ‘들쭉날쭉함(jaggedness)’ 이 존재
    • 예시로, 코드 수정 요청 시 한 버그를 고치면 다른 버그를 다시 만드는 현상 언급
  • RL 훈련이 특정 평가 지표에 과도하게 맞춰져 일반화 능력 저하를 초래한다고 분석
  • 인간의 학습과 비교해, 모델은 ‘경쟁 프로그래밍 학생’ 처럼 특정 문제에 과적합되어 실제 응용력은 떨어지는 구조로 비유

감정과 가치 함수(Value Function)

  • 인간의 감정 시스템이 의사결정의 핵심 역할을 하며, 이는 가치 함수의 생물학적 대응물로 해석
  • 감정이 결여된 인간 사례를 통해, 감정이 효율적 판단과 학습의 필수 요소임을 강조
  • 현재의 강화학습은 최종 보상에만 의존하지만, 가치 함수는 중간 단계에서의 피드백을 가능하게 해 학습 효율을 높임
  • 향후 AI는 감정적 조절이 가능한 가치 함수 구조를 도입해야 함을 시사

확장의 시대에서 연구의 시대로

  • 2012~2020년은 연구 중심의 발전기, 2020~2025년은 확장 중심의 발전기로 구분
  • 데이터·파라미터·컴퓨트의 단순 확장은 한계에 도달했으며, 이제는 새로운 학습 레시피 탐색이 필요
  • RL이 새로운 확장 축으로 부상했지만, 효율적 자원 활용과 새로운 학습 원리가 다음 단계의 핵심 과제
  • “이제는 다시 연구의 시대”라는 선언을 통해, 단순 스케일링을 넘어선 근본적 혁신의 필요성 강조

인간의 일반화 능력과 학습 효율

  • 인간은 적은 데이터로 빠르게 학습하며, 이는 진화적 사전지식(prior) 과 효율적 가치 함수 덕분이라고 설명
  • 언어·수학·코딩처럼 진화와 무관한 영역에서도 인간이 뛰어난 학습력을 보이는 점은 근본적 학습 원리의 존재를 시사
  • 인간은 자기 피드백(self-correction) 을 통해 학습하며, 이는 내재된 가치 함수의 견고함 덕분
  • Sutskever는 인간 수준의 학습 원리를 구현할 방법이 존재한다고 언급했으나, 세부 내용은 비공개

SSI의 전략과 슈퍼인텔리전스 접근

  • SSI는 $3B 규모의 자금으로 연구 중심 운영 중이며, 제품보다는 근본 연구에 집중
  • ‘직행(superintelligence straight shot)’ 전략을 유지하되, 점진적 공개와 배포 학습을 병행할 계획
  • 목표는 ‘모든 일을 배울 수 있는 AI’ , 즉 완성된 지식체가 아닌 지속적 학습자(super learner)
  • 이러한 모델이 경제 전반에 배치될 경우 급격한 경제 성장 가능성을 언급

정렬(Alignment)과 안전성

  • AI의 핵심 문제는 ‘힘(power)’ 이며, 강력한 시스템일수록 점진적 배포와 실시간 피드백이 중요
  • 향후 AI 기업 간 협력적 안전 연구와 정부의 개입 강화가 불가피하다고 전망
  • SSI는 ‘감각 있는 생명(sentient life)’을 배려하는 AI를 목표로 하며, 이는 인간 중심 정렬보다 실현 가능성이 높다고 주장
  • 초지능의 힘을 제한하거나 상호 협약을 통한 제어가 필요하다고 제안

인간-AI 공진화와 장기 균형

  • 장기적으로는 인간이 AI와 결합(Neuralink++) 해야 이해와 통제가 가능하다는 시나리오 제시
  • 인간의 사회적 욕망과 감정이 진화적으로 어떻게 고차원적으로 코딩되었는지에 대한 신경과학적 미스터리를 언급
  • 이러한 고차원적 욕망 구조가 AI 정렬 연구의 단서가 될 수 있다고 시사

SSI의 정체성과 기술적 차별점

  • SSI는 ‘연구 중심 기업’ 으로, 일반화 원리 탐구를 핵심 목표로 설정
  • 다른 기업과 달리 새로운 기술적 접근법을 추구하며, 향후 정렬 전략의 수렴(convergence) 을 예상
  • 5~20년 내 인간 수준 학습자 등장을 전망하며, 이후 시장 경쟁을 통한 전문화와 분화가 일어날 것으로 예측

자기경쟁(Self-play)과 다중 에이전트

  • Self-play는 데이터 없이 컴퓨트만으로 학습할 수 있는 흥미로운 방법으로 평가
  • 다만 협상·전략 등 사회적 기술에 한정된 학습 방식이라는 한계 존재
  • 최근에는 Prover–Verifier 구조나 LLM-as-a-Judge 형태로 발전하며, 에이전트 간 경쟁을 통한 다양성 확보 가능성 제시

연구 취향(Research Taste)

  • 훌륭한 연구는 ‘아름다움, 단순함, 두뇌에서의 올바른 영감’ 을 동시에 갖춰야 함
  • 인간의 뇌에서 영감을 얻되, 본질적 구조를 정확히 모방하는 것이 중요
  • 상향식 실험 결과보다 상위 개념의 확신(top-down belief) 이 연구를 지속하게 하는 원동력이라고 설명

요약 : Ilya Sutskever는 “확장 중심의 시대가 끝나고, 이제는 일반화·지속학습·정렬을 중심으로 한 연구의 시대가 시작됐다”고 선언하며, SSI가 그 전환의 중심에 서 있음을 강조함.

▲
GN⁺ 24시간전  [-]
Hacker News 의견

  • 요즘 모델들이 실제 경제적 영향력에 비해 훨씬 똑똑해 보인다는 점이 혼란스러움
    나는 지난 20년간 사람들의 워크플로우에 AI와 알고리즘을 통합해왔는데, 이런 변화는 시간이 걸림
    도구를 어떻게 써야 하는지, 기존 시스템에 어떻게 녹여야 하는지 알아가는 과정이 필요함
    모델이 지금보다 더 똑똑해지지 않더라도, 몇 년만 지나면 확실한 성과가 나타날 것이라 생각함

    • 문제는 AI 자체가 아니라 현대 경제 구조에 대한 이해 부족일 수도 있음
      직원들이 이미 효율적으로 일하고 있다면, AI가 업무 속도를 높여도 생산성이 크게 오르지 않음
      오히려 많은 조직이 ‘바쁜 일’을 채우기 위해 인력을 과잉 배치하고 있어서, 실제 일의 양이 줄어도 결과물은 그대로일 수 있음
    • AI가 내 업무 중 시간이 적게 드는 부분은 훨씬 빨라지게 해줬지만, 가장 많은 시간을 쓰는 부분에는 거의 영향이 없음
      기술적 한계인지, 조직적 한계인지 모르겠음
      대부분의 시간은 기술 문제가 아니라 사람 간의 우선순위 조율이나 합의 형성 같은 인간적 문제 해결에 쓰이고 있음
    • ERP 같은 시스템을 설계할 때 처음엔 단순해 보여도, 실제로는 수많은 예외 케이스와 승인, 로그, 데이터 통합 등으로 일이 10배로 늘어남
      대학 시절 교수님이 “모든 시스템은 90% 완성된 상태로 90%의 시간을 보낸다”고 했는데, 정말 맞는 말이었음
    • 하지만 결국 시장에는 하나의 모델만 남는다는 게 문제임
      예를 들어 ‘Dave’라는 모델이 있다고 치면, Microsoft, OpenAI, Meta, Oracle, 미국 정부까지 모두 Dave를 고용함
      결국 수십 명의 복제된 사고방식이 세상을 채우게 되고, 다양성이 사라지는 게 진짜 위험임
    • 결국 OpenAI 같은 제품 회사들이 학문적 성과의 금전적 이익을 가져감
      연구보다 연결망과 비즈니스 감각이 중요해짐
      대중은 Ilya나 Andrej 같은 연구자보다 ChatGPT나 Copilot 같은 브랜드를 더 잘 알게 될 것임
      Wikipedia, OCR, 클라우드 컴퓨팅 등 수많은 기반 기술이 쌓여 지금의 LLM이 가능해졌고, 이건 더 큰 무언가로 가는 중간 단계일 뿐임

  • “Era of Scaling”이 투자 유치가 쉬운 예측 가능한 성능 향상 시대를 뜻한다면, 그건 “AI summer”와 비슷하게 들림
    그렇다면 “Era of Research”는 “AI winter”의 완곡한 표현일지도 모름

    • 앞으로는 연구소들이 아이디어를 대형 AI 기업에 판매하게 될 것임
      마치 창작자가 할리우드에 아이디어를 피칭하듯, 버그 바운티 대신 리서치 바운티가 생길 것임
    • “Era of Research”가 “AI winter”의 반대 의미로 쓰인 것 같음
      제목 자체가 일부러 그렇게 역설적으로 만들어진 듯함
    • 상업화에는 단순한 성능 향상보다 활용 프레임워크가 더 중요함
      모델은 이미 충분히 똑똑하고, 이제는 ‘연구의 시대’와 ‘엔지니어링의 시대’가 올 것임
      과거의 AI 겨울은 진전이 없어서가 아니라, 상업적 제품화가 안 됐기 때문임
    • 아직 태울 돈이 수조 달러는 남아 있음
      LLM 학습과 추론을 백만 배 가속할 하드웨어가 나올 수도 있지만, AGI에는 여전히 멀었음
      AI가 스스로 감정이나 욕망을 가지려면 어떤 조건이 필요할지 생각해보게 됨
    • 언젠가 AI가 자본 배분을 스스로 통제하게 될 수도 있음
      투자자들이 AI의 도구로 전락하는 상황이 올지도 모름
      “정보의 바다에서 태어난 생명체”라는 말처럼, 인간의 기억과 AI의 기억이 구분되지 않는 시대를 상상하게 됨

  • 인간의 표본 효율성은 진화의 결과임
    진화는 엄청난 양의 학습을 수행했고, 우리는 그 ‘사전 학습된’ 구조 덕분에 빠르게 배움
    인류는 세대를 거치며 지식을 압축하고 전수해왔고, 인공 모델은 아직 그 수준의 합성 데이터 품질을 갖추지 못함

    • 진화는 데이터셋을 준 게 아니라 학습 경로를 최적화해줬음
      인간은 태어나자마자 감각을 통해 데이터를 받아들이고, 수면 중에 이를 압축함
      LLM이 받는 데이터는 양적으로 커 보여도, 인간이 20년간 경험하는 정보량에 비하면 훨씬 적음
      인간의 뇌는 입력의 극히 일부만 의식적으로 처리하면서도 복잡한 압축 파이프라인을 거침
    • 세대를 DNA에 정보를 압축하는 과정으로 보면, 약 100만 년 동안 5만 번의 압축 단계가 있었음
      그래도 현대 머신러닝의 반복 학습 규모에는 미치지 못함
    • 결국 진화는 방대한 데이터를 가장 유용한 형태로 압축한 것이고, 자연의 압축 능력은 ML 연구자보다 훨씬 뛰어남
    • 생물학적 시스템과 LLM을 비교하는 건 무의미함
      두 시스템은 구조적으로 거의 공통점이 없음

  • “세계에서 가장 자금이 풍부한 산업의 사상 리더가 설계 단계로의 대도약을 선언했다”는 식의 태그라인이 어울릴 듯함

    • 그 농담은 정말 웃겼음

  • 요즘 AI의 진짜 혁신은 단순히 모델을 키우는 데서 나오지 않음
    벤치마크 점수가 높아져도, 사용자 입장에서는 체감 향상이 크지 않음
    여전히 간단한 문제(예: 단어의 글자 수 세기)도 틀리고, 대부분의 사람은 박사급 연구 능력이 필요한 모델을 원하지 않음
    이제는 스케일링보다 연구, 그리고 제품과 모델의 통합이 더 중요해짐

    • 문제는 우리가 지능을 정의하거나 측정할 수 없다는 점임
      인간용 테스트 점수가 기계의 지능을 반영하지 않을 수도 있음
      인간의 두뇌와 모델의 오버피팅 특성이 다르기 때문임
    • 앞으로의 스케일링은 더 정교한 시뮬레이션을 통해 AI가 스스로 실험하고 데이터를 수집하는 방향으로 갈 것임
      프리트레이닝은 거의 끝났고, 연산 비용은 지금보다 훨씬 커질 것임
    • 모델이 똑똑한 게 아니라, 데이터 속 지능을 끌어내는 것임
      모델은 단지 그 지능을 추출하고 활용하는 도구일 뿐임
    • LLM이 글자 수를 세기 어려운 이유는, 글자가 아니라 토큰 단위로 작동하기 때문임
      인간이 보는 문자 스트림 대신, 모델은 숫자 토큰 시퀀스로 문장을 인식함
    • 모델은 여전히 허구의 참고문헌이나 존재하지 않는 학문 분야를 만들어내곤 함

  • 지금 상황은 마치 1996년에 모두가 갑자기 1Gbps 인터넷을 갖게 된 것과 비슷함
    인프라에는 돈이 몰리지만, YouTube나 Dropbox 같은 킬러앱이 없어서 잠재력이 낭비되는 느낌임

  • 이 팟캐스트 시리즈가 정말 좋았음
    특히 진행자의 Sarah Paine과의 지정학 시리즈는 유튜브에서도 볼 수 있는데 훌륭했음

  • “다시 설계판으로 돌아가자”는 말이 떠오름
    수조 달러의 투자금이 회수되지 않아도, 결국 납세자가 구제할 것임

  • 인간의 지능은 개인의 경험뿐 아니라 조상들의 경험으로부터 학습된 것일 수 있음
    예를 들어, 아버지가 겪은 공포가 손자 세대에까지 전달된다는 연구도 있음
    (Nature 논문 링크)
    이런 이유로 인간이 적은 데이터로도 잘 일반화하는 것 같음

    • LLM은 뇌와 전혀 다른 학습 구조를 가짐
      인간은 생존을 위해 미래를 예측하고 일반화해야 했기에, 진화적으로 표본 효율성이 높아졌음

  • 만약 스케일링이 인간보다 더 나은 연구를 수행할 수 있는 수준에 도달한다면, 스케일링과 연구는 결국 같은 의미가 될 것임
    하지만 Ilya가 그 수준에 아직 도달하지 않았다고 말하는 건, 투자 유치를 위한 전략적 발언일 수도 있음

    • 결론에는 동의하지만, 전제에는 동의하지 않음
      한 명의 천재보다 인류 전체의 집단 지능이 더 중요함
      아무리 똑똑한 AI라도 수천 명의 연구자보다 나을 거라는 보장은 없음
    • 스케일링에 대한 맹신은 위험함
      S-커브를 무한히 지수적으로 확장할 수 있다고 착각하는 것 같음
답변달기