Andrej Karpathy – AGI는 아직 10년 남았음

• Andrej Karpathy는 "에이전트의 해"가 아니라 "에이전트의 10년" 이 될 것이라고 주장하며, AI 업계의 과도한 예측들에 반박하고 약 10년간의 점진적 개선이 필요하다고 전망
• 현재 LLM들은 지속적 학습, 멀티모달 기능, 컴퓨터 사용 능력 등 핵심 인지 기능이 부족하며, 이러한 문제들을 해결하는 데 약 10년이 소요될 것으로 예상
• 진화가 동물에게 부여한 내장 하드웨어와 달리 LLM은 인터넷 데이터 모방을 통한 "영혼 같은 존재"로, 다른 종류의 지능이며 동물과의 직접적 비교는 부적절
• RL(강화학습)은 상당히 비효율적이지만, 대안적 방법도 충분히 발전하지 못한 상황. LLM의 모델 콜랩스 및 망각 문제 때문에, 인간의 뇌처럼 자연스럽게 지식을 지속해서 흡수하거나 발전하는 데 한계가 있음
• 사전 학습은 "형편없는 진화" 로, 15조 토큰을 수십억 파라미터로 극적으로 압축하여 인터넷 문서의 희미한 기억만 남기는 과정
• AGI는 결국 평소와 다름없는 2% GDP 성장 궤적에 포함될 것이며, 컴퓨팅의 점진적 확장으로 봐야 하고 불연속적 도약을 기대하지 않음 (초지능 논쟁 포함)

---

AGI의 도래 시점과 AI 발전 속도

• Andrej Karpathy는 “AI 에이전트의 시대는 올해가 아닌 10년 규모의 과정” 이라고 강조함.
• 현재 Claude, Codex 등 여러 AI 에이전트가 유용하게 사용되고 있지만, 지속 학습, 멀티모달 처리, 복잡한 컴퓨터 활용 등에서 여전히 부족함을 가짐
• AGI가 실질적으로 인간 직원 또는 인턴처럼 작동하려면, 지능 향상, 지속적 기억력, 다중 능력 확보 등의 난제가 해결되어야 함
• AI 업계의 발전 예측에 대해, Karpathy는 약 15년 이상 현장에서 경험한 결과 난제는 극복 가능하나 상당히 어렵기 때문에 10년 쯤 필요하리라 추정함

초기 AI 연구의 방향 전환들

• AlexNet 이전 딥러닝은 틈새 주제였으나, 2012년 AlexNet이 전체 분야를 신경망 훈련으로 재정향시킨 첫 번째 극적인 지각 변동
• 2013년경 Atari 딥 강화학습은 잘못된 방향이었으며, OpenAI 초기의 게임 중심 접근도 실수였음
  • 게임이 AGI로 이어질 것이라는 생각에 회의적이었고, 실제 세계 상호작용이 필요하다고 판단
  • OpenAI의 Universe 프로젝트는 너무 이르고 보상이 너무 드물어 학습 불가능
• LLM 위의 에이전트가 올바른 경로로, 먼저 표현력을 얻은 후 에이전트를 구축해야 함
  • 대형 언어 모델 위에서 컴퓨터 사용 에이전트를 훈련시키는 현재 접근이 타당
  • 사전 학습과 LLM 작업을 통해 표현을 먼저 얻어야 에이전트 작업이 가능
• 전체적으로, AI 분야는 퍼셉트론/뉴럴넷 → 에이전트(RL) → LLM/표현학습 강화 흐름으로 진화함

인간 학습과 동물 진화의 차이

• 동물(예: 얼룩말)은 진화에 의해 복합적 행동이 유전적으로 내재됨; AI 연구는 실제 진화 과정을 모방하지 않고 인터넷 자료를 통한 모방 학습(pre-training)을 주로 사용함
• 현재의 LLM은 진화로 발현되는 유기체와는 구조적으로 다름. 생명체는 하드웨어(신경망)가 타고나고, AI는 소프트웨어적 “유령”에 가깝다고 표현함
• 인간 두뇌와 AI의 유사성은 제한적으로만 참고해야 하며, 실용적 목적(유용성) 중심으로 접근함이 더 현실적임

문맥 내 학습 vs 사전 학습

• 사전학습은 인터넷의 어마어마한 정보 압축 결과로, 모델이 기억하는 지식은 흐릿하고 부분적임
  • 실제 질문에 대한 정보는 컨텍스트 윈도 내에서 “작동 메모리”처럼 더 직접적으로 활용됨
• 문맥 내 학습은 작업 기억, 사전 학습은 장기 기억의 희미한 형태
  • KV 캐시의 모든 것은 신경망이 직접 접근 가능한 작업 기억
  • 가중치의 모든 것은 1년 전 읽은 것의 희미한 기억
• 문맥 내 학습이 경사 하강법을 내부적으로 구현할 가능성
  • 선형 회귀 연구에서 신경망 가중치가 경사 하강법 메커니즘과 유사성 발견
  • 패턴 완성을 학습하여 신경망 내부에 작은 회로와 알고리듬 부팅
• 사전 학습당 토큰당 0.07비트 vs 문맥 내 학습 토큰당 320킬로바이트
  • 문맥 내 학습이 토큰당 정보 동화량에서 3,500만 배 더 높음
  • 압축률의 극적인 차이가 학습 방식의 근본적 차이 반영

인간과 LLM의 인지적 차이점

• 해마, 편도체 등 뇌 부위의 부재
  • 트랜스포머는 피질 조직에 해당하며 전두엽 피질 같은 추론 능력 보유
  • 해마(기억), 편도체(감정) 등의 핵심 뇌 부위는 복제되지 않음
• 지속적 학습 메커니즘의 결여
  • 인간은 하루 동안의 맥락 정보(context window)가 수면 등 과정에서 내부 가중치로 증류(distillation)하는 과정 보유
  • LLM은 세션마다 0개 토큰으로 재시작하며 증류 단계 없음. 즉 이와 유사한 장기 기억/지속 학습 메커니즘 부재
• 강화학습은 "끔찍하다"
  • 정답을 얻은 롤아웃의 모든 토큰을 상향 가중(노이즈투성이)
  • "빨대를 통해 감독을 빨아들이는" 방식으로 최종 보상만으로 전체 궤적 평가
  • 인간은 복잡한 검토 과정으로 각 부분을 평가하지만 LLM은 그런 동등물 없음

프로세스 기반 감독의 한계

• LLM 심판의 게임 가능성
  • 보상 할당을 위해 LLM 사용 시 적대적 예제 발견 거의 보장
  • "dhdhdhdh" 같은 말도 안 되는 출력이 100% 보상 획득한 사례
• 샘플 외 일반화 영역의 취약성
  • 훈련 중 본 적 없는 입력에 대해 LLM 심판이 극단적 점수 부여
  • 반복 훈련으로 개선 가능하나 1조 개 파라미터의 무한한 적대적 예제 존재
• 합성 데이터와 검토의 필요성
  • 해답 검토와 합성 예제 생성으로 메타 학습하는 접근 시도 중
  • 프론티어 LLM 연구소 규모에서 완전한 일반성으로 작동하는 설득력 있는 방법 아직 없음

인간의 학습 vs LLM의 학습

• 인간은 강화학습을 거의 사용하지 않음
  • 대부분의 강화학습은 농구 골 던지기 같은 운동 작업
  • 문제 해결 같은 지능 작업에는 RL 사용하지 않음
• 책 읽기는 합성 데이터 생성의 프롬프트
  • 인간은 책을 읽고 정보를 조작하며 지식 획득
  • LLM은 텍스트 시퀀스만 펼치고 다음 토큰 예측으로 학습
• 모델 붕괴 문제
  • LLM 샘플은 개별적으로 합리적이나 분포가 조용히 붕괴
  • ChatGPT는 3개 농담만 반복(가능한 농담의 전체 폭 부재)
  • 인간도 시간 지남에 따라 붕괴하지만 아직 과적합하지 않은 아이들은 충격적 발언 가능

암기 vs 일반화의 균형

• LLM은 암기에 극도로 좋음
  • 완전히 랜덤한 시퀀스도 한두 번 반복으로 전체 암송 가능
  • 사람은 랜덤 숫자 시퀀스 암송 불가능
• 암기 능력이 버그가 아닌 특징
  • 일반화 가능한 구성 요소만 학습하도록 인간 강요
  • LLM은 사전 훈련 문서의 기억으로 산만해짐
• 인지 핵심에서 지식 제거 필요
  • 10억 파라미터 정도의 인지 핵심 예상
  • 지식을 제거하고 알고리듬과 전략만 유지
  • 사전 훈련 세트 정제와 증류로 더 작은 모델로 해결 가능

앞으로의 개선 방향과 기술적 전망

• 향후 10년 내에는 아키텍처, 최적화(optimizer), 손실함수, 데이터, 소프트웨어, 하드웨어 등 모든 분야가 동시에 발전해야 의미 있는 성과가 나올 것이라고 전망
• 현재 Transformer 구조나 딥러닝 방식은 일부 지속되겠지만, 스파스 어텐션(sparse attention), 확장된 컴퓨팅 파워, 대규모 데이터가 더해질 것으로 예상됨
• 지금까지의 발전도 특정 단일 요인보다 여러 부분의 동반 개선이 중요했음을 실감함

LLM의 인지적 결함 및 코딩 도구 활용

• LLM이 코딩 보조에 흔히 사용되지만, 고유한 설계와 방식이 필요한 집중적 코드 작성에는 한계가 많음
• 주로 (1) 완전 수동 작성, (2) 자동완성 활용, (3) “에이전트” 방식 등 세 가지가 혼용됨
• 베이스 코드는 반복적/좋은 사례가 많을수록 LLM이 잘 맞지만, 독창적이고 구조화가 중요한 코드는 LLM이 기존 스타일 고집, 불필요한 복잡도 증가, 컨벤션 오해 등 문제가 두드러짐
• 실제 예시로, PyTorch DDP 컨테이너 사용을 원하지 않음에도 LLM은 계속 이를 추천하여 코드 스타일과 구현방식 고수에 방해가 되었음

nanochat 개발 경험

• LLM은 독특한 코드베이스에 부적합
  • 상용구 코드와 인터넷에 자주 나오는 것에만 유용
  • nanochat은 지적 집약적이고 정확한 배열 필요해 모델들이 계속 오해
• 자동 완성이 최적의 사용 방식
  • 바이브 코딩은 특정 설정에서만 작동
  • 자동 완성은 처음 몇 글자로 높은 정보 대역폭 제공
• Rust 같은 새 언어 학습에 유용
  • Python 참조 구현과 테스트 보유 시 안전하게 바이브 코딩 가능
  • 익숙하지 않은 언어나 패러다임 접근성 향상

AI 엔지니어링 자동화의 현실

• 현재 모델은 AI 연구 자동화에 부족
  • 코딩이 텍스트 기반이라 LLM에 완벽한 첫 번째 적합
  • 이전에 작성된 적 없는 코드에는 그다지 좋지 않음
• 데모-제품 격차
  • 1980년대부터 자율 주행 데모 존재했으나 제품화 오래 걸림
  • "9의 행진" - 각 9는 일정 작업량, 90%에서 99.999%까지 지속적 개선 필요
• 지능 폭발은 GDP 곡선에 보이지 않을 것
  • 컴퓨터, iPhone 등 변혁적 기술도 GDP에서 찾을 수 없음
  • 모든 것이 너무 퍼져 천천히 확산되어 같은 2% 지수로 평균화

자율 주행의 교훈

• 자율 주행은 아직 끝나지 않음
  • Waymo도 매우 적은 차량, 비경제적 운영
  • 원격 조작 센터의 인간이 루프에 있음
• 안전 임계 도메인의 공통점
  • 소프트웨어 엔지니어링도 실수 비용 높음(보안 취약점 등)
  • 자율 주행과 비슷한 "9의 행진" 필요
• 테슬라의 확장 가능한 접근
  • Waymo는 많은 센서로 초기 시작
  • 테슬라가 더 확장 가능한 전략으로 장기적으로 유리

자율 주행 vs 지식 노동 AI 비교

• 비트 영역이 물리적 세계보다 백만 배 쉬움
  • 비트는 변경 가능하고 빠르게 재배열 가능
  • 산업 적응이 훨씬 빠를 것으로 예상
• 자본 지출 차이
  • 자율 주행은 각 복사본마다 완전히 새 차 필요
  • AI 모델은 추론 비용만으로 추가 인스턴스 제공 가능
• 사회적 수용의 복잡성
  • 법적, 보험, 규제 측면 해결 필요
  • Waymo 차에 원뿔 올리는 사람의 동등물이 AI에도 존재할 것

Eureka Labs의 비전

• 스타플릿 아카데미 구축
  • 프론티어 기술을 위한 엘리트 교육 기관
  • AI 포함한 최신 기술 지식 제공
• AGI 이후 교육은 재미
  • AGI 이전: 돈 벌기 위한 유용한 교육
  • AGI 이후: 체육관 가듯 학교 가는 오락적 교육
• 완벽한 AI 튜터 대기 중
  • 한국어 개인 튜터 경험이 기준 설정
  • 학생의 이해도 파악, 적절한 도전 제공, 완벽한 정보 전달
  • 현재 능력으로는 불가능하지만 미래에 가능할 것

교육 자료 설계 원칙

• 물리학적 사고방식
  • 1차, 2차, 3차 항으로 시스템 이해
  • 모델과 추상화 만들기
  • "구형 소" 가정의 가치
• 고통 제시 후 해결책 제시
  • 학생에게 먼저 시도 기회 제공
  • 해결책 주기 전 프롬프트로 동기 부여
• micrograd의 예시
  • 100줄로 역전파 핵심 보여줌
  • 나머지는 모두 효율성일 뿐
  • 연쇄 법칙의 재귀적 적용이 전부

효과적인 학습 전략

• 깊이 우선, 필요에 따라 학습
  • 특정 프로젝트로 보상 얻으며 배우기
  • 폭 우선 학습(학교식)과 교대
• 다른 사람에게 설명하기
  • 이해의 격차 발견하고 채우도록 강요
  • 지식 조작하며 깊이 이해
• 점심 대화 > 논문
  • 컨퍼런스에서 맥주 마시며 듣는 3문장이 논문보다 명확

저는 무언가를 다시 설명하는 걸 좋아하는데, 다른 사람들도 그렇게 해야 해요. 그러면 지식을 조작해야 하고, 설명할 때 무슨 말을 하는지 확실히 이해해야 하거든요.

---

# [전체 스크립트]

00:00:00 – AGI는 아직 10년은 더 남았습니다

Dwarkesh Patel 00:00:00

오늘은 Andrej Karpathy와 대화를 나눕니다. Andrej, 왜 "에이전트 의 해"가 아니라 "에이전트의 10년"이 될 것이라고 말씀하시는 건가요 ?

Andrej Karpathy 00:00:07

먼저 초대해 주셔서 감사합니다. 이렇게 나오게 되어서 기쁩니다.

방금 말씀하신 "에이전트의 10년"이라는 표현은 사실 기존에 나온 말에 대한 반응이에요. 정확히 누가 했는지는 모르겠지만, LLM의 진화와 관련해서 올해가 "에이전트의 해"가 될 거라고 암시하는 표현이 있었거든요. 저는 그 말에 자극을 받았어요. 왜냐하면 업계에서 과도한 예측들이 난무하고 있다고 생각하기 때문입니다. 제 생각에는 "에이전트의 10년"이라고 표현하는 게 훨씬 더 정확해요.

우리는 이미 초기 단계지만 매우 인상적인 에이전트들을 갖고 있고, 저도 Claude나 Codex 같은 걸 매일 사용하고 있어요. 하지만 여전히 해야 할 일이 엄청나게 많다고 느껴요. 우리가 이런 것들과 앞으로 10년은 작업하게 될 거라고 생각합니다. 점점 나아질 거고, 훌륭해질 거예요. 저는 단지 그런 암묵적인 시간 계획에 반응하고 있는 거죠.

Dwarkesh Patel 00:00:58

10년이 걸릴 거라고 생각하시는 건 뭔가요? 병목 지점은 어디입니까?

Andrej Karpathy 00:01:02

실제로 작동하게 만드는 것이죠. 에이전트에 대해 이야기할 때, AI 연구소들이 염두에 두고 있는 것, 그리고 아마 제가 생각하는 것도 마찬가지인데요, 함께 일하기 위해 고용할 직원이나 인턴 같은 존재여야 해요. 예를 들어, 당신도 여기서 직원들과 함께 일하시잖아요. 언제쯤 Claude나 Codex 같은 에이전트가 그 일을 하길 원하시겠어요?

현재로서는 당연히 불가능하죠. 가능하게 만들려면 뭐가 필요할까요? 오늘날 사용하지 않는 이유가 뭘까요? 이유는 간단해요. 제대로 작동하지 않기 때문이죠. 충분한 지능이 없고, 멀티모달 기능이 충분하지 않고, 컴퓨터 사용 같은 것들을 할 수 없어요.

앞서 언급하신 많은 것들을 하지 못합니다. 지속적 학습 능력이 없어요. 뭔가를 알려주면 기억할 거라고 기대할 수 없죠. 인지적으로 부족한 점이 많고 제대로 작동하지 않아요. 이런 모든 문제들을 해결하는 데 약 10년 정도 걸릴 거예요.

Dwarkesh Patel 00:01:44

흥미롭네요. 전문 팟캐스터이자 멀리서 AI를 관찰하는 사람으로서, 뭐가 부족한지 파악하기는 쉬워요. 지속적 학습이 부족하다거나, 멀티모달 기능이 부족하다거나 하는 것들이죠. 하지만 그것에 시간 계획을 정하는 좋은 방법이 없어요. 만약 누군가 지속적 학습에 얼마나 걸릴지 물어본다면, 이게 5년, 10년, 50년이 걸려야 하는 프로젝트인지에 대한 감이 전혀 없거든요. 왜 10년인가요? 왜 1년이나 50년이 아닌가요?

Andrej Karpathy 00:02:16

여기서는 제 개인적인 직관에 들어가게 되고, 현장 경험을 바탕으로 추론을 하게 돼요. 저는 거의 20년 동안 AI 분야에 있었어요. 15년 정도 되려나요. 그렇게 길지는 않죠. 여기 나오셨던 Richard Sutton은 훨씬 더 오래 계셨고요. 저는 약 15년의 경험이 있고, 그 동안 사람들이 예측하는 걸 보고, 그것들이 어떻게 실현되었는지 지켜봤어요. 또한 저는 한동안 산업계에 있었고, 연구에도 있었고, 다시 산업계로 돌아왔고요. 그런 경험에서 남은 일반적인 직관이 있습니다.

제 느낌은 문제들이 해결 가능하고, 극복할 수 있지만, 여전히 어렵다는 거예요. 평균적으로 생각해보면, 저에게는 그냥 10년처럼 느껴져요.

Dwarkesh Patel 00:02:57

매우 흥미롭네요. 역사뿐만 아니라, 다양한 돌파구가 있었던 순간들에 그 자리에 있던 사람들이 무슨 일이 일어날 거라고 느꼈는지 듣고 싶어요. 그들의 예측이 지나치게 비관적이거나 지나치게 낙관적이었던 방식은 뭐였나요? 하나씩 살펴볼까요?

Andrej Karpathy 00:03:16

그건 엄청나게 큰 질문이네요. 15년 동안 일어난 일들에 대해 이야기하고 있으니까요. AI는 정말 놀라운 분야예요. 전체 분야가 갑자기 완전히 다르게 보이는 몇 차례의 지각 변동 같은 변화가 있었거든요. 저는 아마 그 중 두세 번을 직접 겪었을 거예요. 그리고 앞으로도 계속 있을 거라고 생각해요. 거의 놀랄 만큼 규칙적으로 찾아오니까요.

제 커리어가 시작되었을 때, 딥러닝 작업을 시작했을 때, 딥러닝에 관심을 갖게 된 건 토론토 대학에서 Geoff Hinton 바로 옆에 있게 된 우연 덕분이었어요. Geoff Hinton은 물론 AI의 대부 같은 인물이죠. 그는 이런 신경망들을 훈련시키고 있었는데, 저는 그게 놀랍고 흥미롭다고 생각했어요. 하지만 이건 당시 AI에서 모든 사람이 하던 주된 것이 전혀 아니었어요. 그냥 한쪽 구석의 작은 틈새 주제였죠. 그게 아마도 AlexNet과 함께 찾아온 첫 번째 극적인 지각 변동이었을 거예요.

AlexNet은 모든 사람을 재정향시켰고, 모두가 신경망을 훈련시키기 시작했어요. 하지만 여전히 작업별로, 구체적인 작업별로 접근했죠. 이미지 분류기를 갖고 있거나 신경 기계 번역기를 갖고 있거나 하는 식이었어요. 사람들은 에이전트에 대해 매우 천천히 관심을 갖기 시작했죠. "좋아, 시각 피질 같은 건 체크 표시를 했지만, 뇌의 다른 부분들은 어떻고, 세상과 상호작용할 수 있는 완전한 에이전트나 완전한 개체를 어떻게 얻을 수 있을까?"라고 생각하기 시작한 거예요.

2013년경의 Atari 딥 강화학습 변화는 제 생각에 에이전트에 대한 초기 노력의 일부였어요. 단순히 세상을 인식하는 것뿐만 아니라 행동을 취하고 상호작용하며 환경으로부터 보상을 받는 에이전트를 만들려는 시도였으니까요. 당시에는 Atari 게임이었죠.

저는 그게 잘못된 방향이었다고 느껴요. 제가 참여했던 초기 OpenAI조차도 채택한 잘못된 방향이었어요. 왜냐하면 그 당시 시대정신은 강화학습 환경, 게임, 게임 플레이, 게임을 이기는 것, 다양한 종류의 게임을 얻는 것이었고, OpenAI도 그런 걸 많이 하고 있었으니까요. 그건 모두 약간의 실수였어요. 아마 2, 3, 4년 동안 모든 사람이 게임에 강화학습을 적용하고 있었는데, 전부 다 약간의 잘못된 방향이었죠.

OpenAI에서 제가 하려고 했던 건—저는 항상 게임이 AGI로 이어질 거라는 생각에 약간 회의적이었어요. 제 생각에는 회계사 같은 것, 실제 세계와 상호작용하는 뭔가를 원했거든요. 게임이 어떻게 그것으로 이어지는지 이해할 수 없었어요. 예를 들어, OpenAI에서 제 프로젝트는 Universe 프로젝트의 범위 내에서, 키보드와 마우스를 사용해서 웹 페이지를 조작하는 에이전트에 관한 거였어요. 저는 정말로 실제 디지털 세계와 상호작용할 수 있고 지식 노동을 할 수 있는 뭔가를 만들고 싶었거든요.

그런데 알고 보니 이건 엄청나게 이르고, 너무 일렀고, 우리가 작업하지 말았어야 할 만큼 이른 시도였어요. 왜냐하면 그냥 이리저리 더듬거리고 키보드를 마구 두드리고 마우스를 클릭하면서 이런 환경에서 보상을 얻으려고 하면, 보상이 너무 드물어서 학습이 안 되거든요. 엄청난 컴퓨팅 자원을 태우지만 절대 성과를 내지 못해요. 놓치고 있던 건 신경망에서의 표현력이었어요.

예를 들어, 오늘날 사람들은 컴퓨터 사용 에이전트를 훈련시키고 있지만, 대형 언어 모델 위에서 하고 있어요. 먼저 언어 모델을 얻어야 하고, 먼저 표현을 얻어야 하고, 사전 학습과 모든 LLM 관련 작업을 통해 그렇게 해야 해요.

제 느낌은 대략적으로 말하면, 사람들이 완전한 걸 너무 일찍 얻으려고 몇 번 계속 시도했다는 거예요. 사람들이 에이전트를 너무 일찍 추구하려고 했다고 말하고 싶어요. Atari와 Universe, 그리고 제 자신의 경험조차도 그랬고요. 실제로 에이전트에 도달하기 전에 먼저 해야 할 일들이 있었던 거죠. 이제 에이전트들이 훨씬 더 유능해졌지만, 아마도 우리는 여전히 그 스택의 일부를 놓치고 있을 거예요.

이 세 가지가 사람들이 하던 주요 범주라고 말하고 싶어요: 작업별로 신경망을 훈련시키는 것, 첫 번째 라운드의 에이전트를 시도하는 것, 그리고 나서 LLM과 다른 모든 것 위에 추가하기 전에 신경망의 표현력을 추구하는 것.

Dwarkesh Patel 00:07:02

흥미롭네요. 제가 Sutton의 관점을 좀 더 강력하게 옹호해 보자면, 인간은 한꺼번에 모든 걸 받아들일 수 있잖아요. 아니면 동물조차도 한꺼번에 모든 걸 받아들일 수 있고요. 동물이 더 나은 예일 수도 있는데, 언어라는 뼈대조차 없으니까요. 그냥 세상에 던져지고, 어떤 레이블도 없이 모든 걸 이해해야 하죠.

그렇다면 AGI에 대한 비전은 감각 데이터를 보고, 컴퓨터 화면을 보고, 처음부터 무슨 일이 일어나고 있는지 파악하는 것이어야 하지 않을까요? 만약 인간이 비슷한 상황에 놓여서 처음부터 훈련받아야 한다면... 이건 인간이 자라나거나 동물이 자라나는 것과 같아요. 수백만 년의 훈련을 하는 것 대신, 왜 그게 AI에 대한 비전이 되면 안 될까요?

Andrej Karpathy 00:07:41

정말 좋은 질문이에요. Sutton이 당신 팟캐스트에 나왔고 저도 그 팟캐스트를 봤고, 제가 어떻게 생각하는지에 대한 글을 썼어요. 저는 동물과의 비유를 만드는 걸 매우 조심스럽게 생각해요. 왜냐하면 동물들은 매우 다른 최적화 과정을 통해 나왔기 때문이에요. 동물은 진화했고, 내장된 엄청난 양의 하드웨어와 함께 오거든요.

예를 들어, 제 글에서의 예시는 얼룩말이었어요. 얼룩말이 태어나고, 몇 분 후에 뛰어다니고 어미를 따라다녀요. 그건 엄청나게 복잡한 일이에요. 그건 강화학습이 아니에요. 그건 내장된 거예요. 진화는 분명히 우리 신경망의 가중치를 ATCG에 인코딩하는 방법을 갖고 있고, 그게 어떻게 작동하는지 모르겠지만, 분명히 작동하거든요.

뇌는 매우 다른 과정에서 나왔고, 저는 거기서 영감을 얻는 걸 매우 주저해요. 우리는 실제로 그 과정을 실행하고 있지 않으니까요. 제 글에서 우리는 동물을 만들고 있지 않다고 말했어요. 우리는 유령이나 영혼 같은 걸 만들고 있어요. 사람들이 뭐라고 부르든 간에, 우리는 진화에 의한 훈련을 하고 있지 않거든요. 우리는 인간을 모방하고 그들이 인터넷에 올린 데이터를 통한 훈련을 하고 있어요.

결국 이런 영적인 존재들이 되는 거죠. 완전히 디지털이고 인간을 모방하고 있으니까요. 다른 종류의 지능이에요. 지능의 공간을 상상한다면, 우리는 거의 다른 지점에서 시작하고 있어요. 우리는 실제로 동물을 만들고 있지 않아요. 하지만 시간이 지나면서 그들을 좀 더 동물처럼 만드는 것도 가능하고, 그래야 한다고 생각해요.

한 가지 더 말씀드리자면, 저는 Sutton이 매우... 그의 프레임워크는 "우리는 동물을 만들고 싶다"예요. 저는 그게 작동하게 할 수 있다면 훌륭할 거라고 생각해요. 정말 놀라울 거예요. 인터넷에서 실행할 수 있는 단일 알고리듬이 있어서 모든 걸 학습한다면, 그건 놀라울 거예요. 그게 존재하는지 확신이 안 서고, 확실히 동물들이 하는 게 아니에요. 동물에게는 진화라는 외부 루프가 있으니까요.

학습처럼 보이는 것의 많은 부분은 학습이라기보다는 뇌의 성숙에 가까워요. 저는 동물들에게 강화학습이 매우 적다고 생각해요. 대부분의 강화학습은 운동 작업 같은 거예요. 지능 작업이 아니에요. 그래서 사실 인간은 RL을 거의 사용하지 않는다고 생각해요, 대략적으로 말해서요.

Dwarkesh Patel 00:09:52

마지막 문장을 다시 말씀해 주시겠어요? 그 지능의 많은 부분이 운동 작업이 아니라는 건... 뭐였죠?

Andrej Karpathy 00:09:54

제 관점에서 강화학습의 많은 부분은 훨씬 더 운동 같은 것들, 농구 골대에 공 던지기 같은 단순한 작업들일 거예요. 하지만 인간이 문제 해결 같은 많은 지능 작업에 강화학습을 사용한다고 생각하지 않아요. 연구를 위해 그렇게 해서는 안 된다는 뜻은 아니지만, 동물이 하거나 하지 않는 게 바로 그런 거라고 생각해요.

Dwarkesh Patel 00:10:17

소화하는 데 시간이 좀 걸리네요. 많은 아이디어가 담겨 있어서요. 관점을 이해하기 위해 명확히 할 수 있는 질문 하나를 드릴게요. 진화가 사전 학습이 하는 것과 같은 일을 한다고 제안하셨는데, 그게 세상을 이해할 수 있는 뭔가를 구축한다는 의미에서요.

차이점은 진화는 인간의 경우 3기가바이트의 DNA를 통해 조절되어야 한다는 거예요. 그건 모델의 가중치와 매우 달라요. 문자 그대로 모델의 가중치는 뇌인데, 이건 정자와 난자에 명백히 존재하지 않아요. 따라서 성장해야 하죠. 또한 뇌의 모든 시냅스에 대한 정보는 DNA에 존재하는 3기가바이트 안에 단순히 존재할 수 없어요.

진화는 평생 학습을 하는 알고리듬을 찾는 것에 더 가까운 것 같아요. 물론 평생 학습이 당신이 지적한 것처럼 RL과 유사하지 않을 수도 있지만요. 이게 당신이 말씀하신 것과 호환되나요, 아니면 동의하지 않으시나요?

Andrej Karpathy 00:11:17

그렇다고 생각해요. 분명히 놀라운 압축이 일어나고 있다는 데 동의해요. 명백히 신경망의 가중치가 ATCG에 저장되어 있지 않으니까요. 극적인 압축이 있어요. 온라인으로 일부 학습을 인수하는 학습 알고리듬들이 인코딩되어 있고요. 그 점에서는 확실히 동의해요. 저는 훨씬 더 실용적인 마인드라고 말하고 싶어요. 저는 동물을 만들자는 관점에서 접근하지 않아요. 유용한 걸 만들자는 관점에서 접근하죠. 저는 안전모를 쓰고 있고, 우리가 진화를 하지 않을 거라는 걸 관찰하고 있을 뿐이에요. 어떻게 하는지 모르니까요.

하지만 인터넷 문서를 모방함으로써 이런 유령 같은, 영혼 같은 존재들을 만들 수 있다는 게 밝혀졌어요. 이건 작동해요. 진화가 한 것과 어떤 면에서 유사하게, 많은 내장된 지식과 지능을 가진 뭔가로 당신을 끌어올리는 실용적으로 가능한 버전이에요. 그래서 저는 사전 학습을 이 형편없는 진화라고 부르는 거예요. 우리의 기술과 우리가 사용할 수 있는 걸로 실용적으로 가능한 버전이고, 강화학습 같은 것들을 할 수 있는 시작점에 도달하는 거죠.

Dwarkesh Patel 00:12:15

다른 관점을 옹호해 보자면, 이 Sutton 인터뷰를 하고 그것에 대해 생각한 후에, 그는 여기서 중요한 지점이 있어요. 진화는 실제로 우리에게 지식을 주지 않아요. 지식을 찾는 알고리듬을 주죠. 그리고 그건 사전 학습과 다른 것 같아요.

아마도 관점은 사전 학습이 더 잘 학습할 수 있는 종류의 존재를 구축하는 데 도움이 된다는 거예요. 메타 학습을 가르치므로, 알고리듬을 찾는 것과 유사하죠. 하지만 만약 "진화는 우리에게 지식을 준다, 사전 학습은 우리에게 지식을 준다"라고 하면, 그 비유는 무너지는 것 같아요.

Andrej Karpathy 00:12:42

미묘하고 당신이 그것에 대해 반박하는 게 옳다고 생각하지만, 기본적으로 사전 학습이 하고 있는 건, 인터넷에 대한 다음 토큰 예측기를 얻고, 그걸 신경망으로 훈련시키는 거예요. 관련이 없는 두 가지를 하고 있어요. 첫 번째, 제가 지식이라고 부르는 이 모든 걸 습득하고 있어요. 두 번째, 실제로 지능적이 되고 있고요.

인터넷에서 알고리듬 패턴을 관찰함으로써, 신경망 내부에 이 모든 작은 회로와 알고리듬을 부팅해서 문맥 내 학습(in-context-learning) 같은 것들을 해요. 지식은 필요하지도 원하지도 않아요. 제 생각에 그건 아마도 전반적으로 신경망을 방해하고 있을 거예요. 때로는 지식에 너무 많이 의존하게 만들기 때문이에요.

예를 들어, 에이전트가 잘하지 못하는 한 가지는 인터넷에 존재하는 데이터의 매니폴드를 벗어나는 거예요. 만약 그들이 지식이나 기억이 더 적었다면, 아마도 더 나았을 거예요. 앞으로 해야 할 일이라고 생각하는 건—그리고 이건 연구 패러다임의 일부가 될 거예요—일부 지식을 제거하고 제가 인지 핵심(cognitive core)이라고 부르는 걸 유지하는 방법을 찾아내는 거예요. 그건 지식에서 벗어난 이 지능적인 존재지만, 알고리듬과 지능과 문제 해결의 마법과 그것의 전략들을 포함하고 있어요.

Dwarkesh Patel 00:13:50

거기에 매우 흥미로운 것들이 많네요. 문맥 내 학습부터 시작하죠. 이건 명백한 점이지만, 명시적으로 말하고 묵상해 볼 가치가 있다고 생각해요. 이 모델들이 가장 지능적으로 보이는 상황—제가 그들과 대화하면서 "와, 정말 반대편에 뭔가가 있어서 나에게 응답하고 있구나"라고 느끼는 순간, 실수를 하면 "아 잠깐, 그건 잘못된 생각 방식이야. 뒤로 돌아가자" 라고 하는 모든 게 문맥 내에서 일어나고 있어요. 그게 당신이 눈으로 볼 수 있는 진정한 지능이 있는 곳이에요.

문맥 내 학습 과정은 사전 학습에 대한 경사 하강법에 의해 개발돼요. 자발적으로 문맥 내 학습을 메타 학습하지만, 문맥 내 학습 자체는 경사 하강법이 아니에요. 인간으로서 우리의 평생 지능이 일을 할 수 있는 능력이 진화에 의해 조건화되지만, 우리의 평생 동안의 학습은 다른 과정을 통해 일어나는 것과 같은 방식이죠.

Andrej Karpathy 00:14:42

완전히 동의하지는 않지만, 당신의 생각을 계속 이어가보세요.

Dwarkesh Patel 00:14:44

음, 그 비유가 어떻게 무너지는지 이해하고 싶어요.

Andrej Karpathy 00:14:48

문맥 내 학습이 경사 하강법을 하지 않는다고 말하는 걸 주저해요. 명시적인 경사 하강법을 하지 않는 거죠. 문맥 내 학습은 토큰 윈도우 내에서 패턴 완성이에요. 인터넷에 엄청난 양의 패턴이 있다는 게 밝혀졌거든요. 당신 말이 맞아요. 모델은 패턴을 완성하는 걸 배우고, 그건 가중치 안에 있어요. 신경망의 가중치는 패턴을 발견하고 패턴을 완성하려고 해요. 신경망 내부에서 일어나는 적응이 있는데, 마법적이고 인터넷에서 그냥 나와요. 패턴이 많기 때문이에요.

문맥 내 학습 뒤의 메커니즘을 보는 흥미로운 논문들이 있다고 말씀드릴게요. 문맥 내 학습이 신경망의 레이어 내부에서 작은 경사 하강법 루프를 실행할 가능성이 있다고 생각해요. 제가 특히 기억하는 논문 하나는 문맥 내 학습을 사용해서 선형 회귀를 하고 있었어요. 신경망에 대한 입력은 XY 쌍이에요. XY, XY, XY가 선상에 있죠. 그런 다음 X를 하면 Y를 기대하고요. 신경망은 이런 식으로 훈련될 때 선형 회귀를 해요.

일반적으로 선형 회귀를 실행할 때, XY를 보고, 오차를 보고, 가중치의 기울기를 계산하고 몇 번 업데이트를 하는 작은 경사 하강법 최적화기가 있어요. 그 문맥 내 학습 알고리듬의 가중치를 보았을 때, 경사 하강법 메커니즘과 일부 유사성을 발견했다는 게 밝혀졌어요. 사실, 논문이 더 강력했다고 생각하는데, 신경망의 가중치를 하드코딩해서 어텐션과 신경망의 모든 내부를 통해 경사 하강법을 하도록 했어요.

그게 제 유일한 반박이에요. 문맥 내 학습이 어떻게 작동하는지 아무도 모르지만, 아마도 내부적으로 약간의 이상한 경사 하강법을 하고 있을 거예요. 그게 가능하다고 생각해요. 저는 단지 당신이 문맥 내 학습을 하지 않는다고 말한 것에 반박하고 있을 뿐이에요. 뭘 하고 있는지 아무도 모르지만, 아마도 그것과 유사한 걸 하고 있을 거예요. 하지만 우리는 몰라요.

Dwarkesh Patel 00:16:39

그렇다면 만약 문맥 내 학습과 사전 학습이 둘 다 경사 하강법과 비슷한 걸 구현하고 있다면, 왜 문맥 내 학습에서 이런 지속적 학습, 진짜 지능 같은 것에 도달하는 것처럼 느껴질까요? 반면 사전 학습만으로는 유사한 느낌을 받지 못하잖아요. 그렇게 주장할 수 있어요.

같은 알고리듬이라면, 뭐가 다를 수 있을까요? 한 가지 생각해 볼 방법은, 모델이 훈련에서 받는 정보당 얼마나 많은 정보를 저장하는가예요. 사전 학습을 보면, 예를 들어 Llama 3를 보면, 15조 토큰으로 훈련되었다고 생각해요. 70B 모델을 보면, 그건 사전 학습에서 보는 토큰당 0.07비트에 해당할 거예요. 모델의 가중치에 있는 정보와 비교해서 읽는 토큰 측면에서요. 반면 KV 캐시를 보고 그게 문맥 내 학습에서 추가 토큰당 얼마나 증가하는지 보면, 약 320킬로바이트예요. 그러니까 토큰당 모델이 동화하는 정보량에서 3,500만 배 차이죠. 이게 관련이 있는지 궁금해요.

Andrej Karpathy 00:17:46

어느 정도 동의해요. 제가 일반적으로 이걸 표현하는 방식은 신경망 훈련 중에 일어나는 모든 게, 지식이 훈련 시간에 일어난 일의 희미한 기억일 뿐이라는 거예요. 압축이 극적이기 때문이에요. 15조 토큰을 가져와서 몇십억 파라미터의 최종 신경망으로 압축하고 있어요. 명백히 엄청난 양의 압축이 일어나고 있죠. 그래서 저는 그걸 인터넷 문서의 희미한 기억이라고 부르는 거예요.

반면 신경망의 컨텍스트 윈도우에서 일어나는 모든 건—모든 토큰을 꽂아 넣고 모든 KV 캐시 표현을 구축하는 것—신경망이 매우 직접적으로 접근할 수 있어요. 그래서 저는 KV 캐시와 테스트 시간에 일어나는 것들을 작업 기억과 더 비슷하다고 비교해요. 컨텍스트 윈도우에 있는 모든 건 신경망이 매우 직접적으로 접근할 수 있거든요.

LLM과 인간 사이에는 항상 이런 거의 놀라운 유사점들이 있어요. 저는 그것들이 놀랍다고 생각하는데, 우리가 직접적으로 인간의 뇌를 만들려고 하지 않기 때문이에요. 우리는 그냥 이게 작동한다는 걸 발견하고 하고 있을 뿐이거든요. 하지만 저는 가중치에 있는 모든 게, 1년 전에 읽은 것의 희미한 기억이라고 느껴요. 테스트 시간에 컨텍스트로 주는 모든 건 직접 작업 기억에 있고요. 그건 일을 생각하는 매우 강력한 비유예요.

예를 들어, LLM에 가서 어떤 책에 대해, 그 안에서 무슨 일이 일어났는지 물어보면, Nick Lane의 책 같은 거요, LLM은 종종 대략 맞는 걸 줄 거예요. 하지만 전체 챕터를 주고 질문하면, 훨씬 더 나은 결과를 얻을 거예요. 왜냐하면 이제 모델의 작업 기억에 로드되었기 때문이에요. 그래서 동의한다고 말하는 긴 방식이고, 그게 이유예요.

Dwarkesh Patel 00:19:11

한 걸음 물러서서, 우리가 이런 모델들로 복제하는 데 가장 실패한 인간 지능의 부분은 뭔가요?

Andrej Karpathy 00:19:20

그냥 많은 부분이에요. 그래서 한 가지 생각하는 방법은, 이게 최선의 방법인지 모르겠지만, 저는 거의—다시 말하지만, 이런 비유를 만드는 건 불완전하지만—우리가 트랜스포머 신경망으로 우연히 발견했다고 느껴요. 그건 극도로 강력하고, 매우 일반적이에요. 오디오, 비디오, 텍스트, 원하는 모든 것에 대해 트랜스포머를 훈련시킬 수 있고, 패턴을 학습하고 매우 강력하며, 정말 잘 작동해요. 그건 저에게 이게 어떤 피질 조직의 일부라는 걸 거의 나타내요. 그런 것 같아요. 왜냐하면 피질은 매우 가소성이 있는 걸로 유명하기 때문이에요. 뇌의 일부를 다시 연결할 수 있거든요. 시각 피질을 청각 피질에 다시 연결하는 약간 섬뜩한 실험들이 있었고, 이 동물은 잘 학습했어요.

그래서 저는 이게 피질 조직(cortical tissue)이라고 생각해요. 신경망 내에서 추론과 계획을 할 때, 사고 모델을 위한 추론 트레이스를 할 때, 그건 약간 전두엽 피질 같아요. 아마도 그것들은 작은 체크 표시 같은 것이지만, 저는 여전히 탐구되지 않은 많은 뇌 부분과 핵들이 있다고 생각해요. 예를 들어, 모델을 강화학습으로 미세 조정할 때 약간의 강화학습을 하는 기저핵이 있어요. 하지만 해마는 어디 있나요? 그게 뭘지 명확하지 않아요. 일부 부분은 아마도 중요하지 않을 거예요. 아마도 소뇌는 인지에 중요하지 않고, 생각에 중요하지 않으므로, 아마도 일부를 건너뛸 수 있어요. 하지만 여전히 예를 들어 편도체, 모든 감정과 본능이 있다고 생각해요. 아마도 우리가 실제로 복제하지 않은 뇌의 매우 오래된 다른 핵들이 많이 있을 거예요.

우리가 인간 뇌의 유사체를 만드는 걸 추구해야 한다고 생각하지 않아요. 저는 마음속으로는 주로 엔지니어예요. 아마도 질문에 답하는 또 다른 방법은 이걸 인턴으로 고용하지 않을 거라는 거예요. 여전히 많은 게 빠져 있어요. 우리 모두가 모델과 대화할 때 직관적으로 느끼는 많은 인지적 결함과 함께 오거든요. 그래서 아직 완전히 거기 있지 않아요. 모든 뇌 부분이 아직 체크되지 않았다고 볼 수 있죠.

Dwarkesh Patel 00:21:16

이건 문제들이 얼마나 빨리 해결될지에 대해 생각하는 질문과 관련이 있을 수 있어요. 때때로 사람들은 지속적 학습에 대해 "봐, 이 능력을 쉽게 복제할 수 있어. 문맥 내 학습이 사전 학습의 결과로 자발적으로 나타난 것처럼, 더 긴 지평선에 걸친 지속적 학습은 모델이 더 긴 지평선, 하나의 세션보다 긴 지평선에 걸쳐 정보를 기억하도록 인센티브를 받으면 자발적으로 나타날 거야"라고 말해요. 그래서 만약 그 외부 루프 내에 많은 세션이 있는 외부 루프 RL이 있다면, 그게 자신을 미세 조정하거나 외부 메모리에 쓰는 이 지속적 학습은 그냥 자발적으로 나타날 거예요. 그런 것들이 그럴듯하다고 생각하세요? 저는 그게 얼마나 그럴듯한지에 대한 사전 지식이 없어요. 그럴 가능성이 얼마나 되나요?

Andrej Karpathy 00:22:07

저는 그것에 완전히 공감하지 못해요. 이 모델들은 부팅할 때 윈도우에 0개의 토큰을 가지고 있을 때, 항상 그들이 있던 곳에서 처음부터 다시 시작해요. 그래서 그 세계관에서 어떻게 보이는지 모르겠어요. 인간과 약간의 비유를 만들어 보면—제 생각에는 대략 구체적이고 생각해 보기에 흥미롭기 때문인데—제가 깨어 있을 때, 하루 동안 일어나는 일들의 컨텍스트 윈도우를 구축하고 있다고 느껴요. 하지만 잠을 잘 때, 뭔가 마법 같은 일이 일어나는데 그 컨텍스트 윈도우가 남아 있지 않다고 생각해요. 뇌의 가중치로 증류하는 어떤 과정이 있어요. 이건 수면 중에 일어나고 이런 것들이죠.

대형 언어 모델에는 그것과 동등한 게 없어요. 그게 저에게는 지속적 학습에 대해 이야기할 때 없는 것에 더 인접해요. 이 모델들은 일어난 일을 가져와서, 그걸 강박적으로 분석하고, 그것을 생각하고, 약간의 합성 데이터 생성 과정을 하고 그걸 가중치로 다시 증류하는 증류 단계를 실제로 갖고 있지 않아요. 그리고 아마도 사람당 특정 신경망을 갖고 있어요. 아마도 LoRA일 거예요. 전체 가중치 신경망이 아니라, 변경되는 가중치의 일부 작은 희소 하위 집합일 뿐이죠.

하지만 우리는 매우 긴 컨텍스트를 가진 이런 개인들을 만드는 방법을 만들고 싶어요. 컨텍스트 윈도우가 매우, 매우 길게 자라기 때문에 컨텍스트 윈도우에만 남아 있는 게 아니에요. 아마도 우리는 그것에 대해 매우 정교한 희소 어텐션을 갖고 있고요. 하지만 저는 여전히 인간이 그 지식의 일부를 가중치로 증류하는 어떤 과정을 명백히 갖고 있다고 생각해요. 우리는 그걸 놓치고 있죠. 저는 또한 인간이 매우 정교한 희소 어텐션 체계를 갖고 있다고 생각하는데, 우리가 일부 초기 힌트를 보기 시작하고 있다고 생각해요. DeepSeek v3.2가 막 나왔고 그들이 희소 어텐션을 갖고 있다는 걸 봤어요. 예를 들어, 이건 매우, 매우 긴 컨텍스트 윈도우를 갖는 한 가지 방법이에요. 그래서 저는 우리가 매우 다른 과정을 통해 진화가 생각해낸 많은 인지적 트릭을 다시 하고 있다고 느껴요. 하지만 우리는 인지적으로 유사한 아키텍처로 수렴할 거예요.

Dwarkesh Patel 00:24:02

10년 후에도 여전히 트랜스포머 같은 것일 거라고 생각하세요? 하지만 훨씬 더 수정된 어텐션과 더 희소한 MLP 등이 있는?

Andrej Karpathy 00:24:10

제가 생각하는 방식은 시간상 이동 불변성이에요. 10년 전에 우리는 어디에 있었나요? 2015년. 2015년에 우리는 주로 컨볼루션 신경망을 갖고 있었고, 잔차 네트워크가 막 나왔어요. 놀랍도록 유사하지만, 여전히 꽤 달라요. 트랜스포머는 아직 없었고요. 트랜스포머에 대한 이런 더 현대적인 조정들도 없었어요. 아마도 우리가 걸 수 있는 것들 중 일부는, 제 생각에 이동 등변성으로 10년 후에도, 우리는 여전히 순방향 역방향 패스와 경사 하강을 통한 업데이트로 거대한 신경망을 훈련시키고 있을 거라는 거예요. 하지만 아마도 약간 다르게 보일 거고, 모든 게 훨씬 더 클 거예요.

최근에 저는 몇 년 전에 1989년까지 거슬러 올라갔는데, 제게는 재미있는 연습이었어요. Yann LeCun의 1989년 컨볼루션 네트워크를 재현하고 있었거든요. 그건 제가 알고 있는 경사 하강법으로 훈련된 첫 번째 신경망이었어요. 숫자 인식에 대한 현대적인 신경망이 경사 하강법으로 훈련된 거죠. 저는 이걸 어떻게 현대화할 수 있는지에 관심이 있었어요. 이것 중 얼마나 많은 게 알고리듬인가? 얼마나 많은 게 데이터인가? 이 진보 중 얼마나 많은 게 컴퓨팅과 시스템인가? 저는 매우 빠르게 33년의 시간 여행을 통해 학습을 절반으로 줄일 수 있었어요.

그래서 알고리듬으로 33년을 시간 여행하면, 1989년에 Yann LeCun이 한 걸 조정할 수 있었고, 오류를 절반으로 줄일 수 있었어요. 하지만 더 많은 이득을 얻으려면, 훨씬 더 많은 데이터를 추가해야 했고, 훈련 세트를 10배로 늘려야 했고, 더 많은 계산 최적화를 추가해야 했어요. 드롭아웃과 다른 정규화 기술로 훨씬 더 오래 훈련해야 했고요.

그래서 이 모든 것들이 동시에 개선되어야 해요. 우리는 아마도 훨씬 더 많은 데이터를 갖게 될 거고, 훨씬 더 나은 하드웨어를 갖게 될 거고, 하드웨어를 실행하고 하드웨어로 얻는 걸 최대화하기 위한 훨씬 더 나은 커널과 소프트웨어를 갖게 될 거고, 더 나은 알고리듬을 갖게 될 거예요. 이 모든 건, 그 중 어느 하나도 너무 많이 이기지 않는 것 같아요. 모두가 놀랍게도 동등해요. 이건 한동안의 추세였어요.

질문에 답하자면, 오늘날 일어나고 있는 것과 알고리듬적으로 차이가 있을 거로 예상해요. 하지만 저는 또한 매우 오랫동안 계속되어 온 것들 중 일부는 아마도 여전히 거기 있을 거라고 예상해요. 아마도 여전히 경사 하강법으로 훈련된 거대한 신경망일 거예요. 그게 제 추측이에요.

Dwarkesh Patel 00:26:16

모든 걸 합쳐서 오류를 절반으로만 줄였다는 게 놀라워요, 30년의 진보가... 절반이 많을 수도 있어요. 왜냐하면 오류를 절반으로 줄이면, 그건 실제로...

Andrej Karpathy 00:26:30

절반은 많아요. 하지만 제게 충격적이었던 건 모든 게 전반적으로 개선되어야 한다는 거예요: 아키텍처, 최적화기, 손실 함수. 또한 전반적으로 영원히 개선되어 왔고요. 그래서 저는 그 모든 변화들이 살아 있고 건재할 거로 예상해요.

Dwarkesh Patel 00:26:43

네. 저는 nanochat에 대해 매우 유사한 질문을 하려고 했어요. 최근에 코딩했기 때문에, 챗봇을 만드는 과정의 모든 단계가 당신의 RAM에 신선해요. GPT-2에서 nanochat으로 가는 데 "아, 관련된 게 하나도 없었구나"와 같은 유사한 생각을 했는지 궁금해요. 그 경험에서 놀라운 교훈은 뭐였나요?

Andrej Karpathy 00:27:08

nanochat을 만드는 것에 대해서요? nanochat은 제가 공개한 저장소예요. 어제였나요 아니면 그제였나요? 기억이 안 나네요.

Dwarkesh Patel 00:27:15

수면 부족이 어떤 결과를 초래했는지 볼 수 있는 것 같네요...

Andrej Karpathy 00:27:18

ChatGPT 클론을 만드는 전체 파이프라인을 처음부터 끝까지 다루는 가장 간단하고 완전한 저장소가 되려고 해요. 그래서 개별 단계뿐만 아니라 모든 단계를 갖추고 있는데, 꽤 많아요. 저는 과거에 모든 개별 단계에 대해 작업했고 알고리듬적 의미에서, 간단한 코드로 어떻게 하는지 보여주는 작은 코드 조각들을 공개했어요. 하지만 이건 전체 파이프라인을 다뤄요. 학습 측면에서, 저는 그것으로부터 필연적으로 뭔가를 배웠다고 확신하지 않아요. 저는 이미 어떻게 만드는지 마음속에 갖고 있었어요. 이건 그냥 기계적으로 만들고 사람들이 배우고 유용하다고 생각할 수 있도록 충분히 깔끔하게 만드는 과정이었어요.

Dwarkesh Patel 00:28:04

누군가가 그것으로부터 배우는 가장 좋은 방법은 뭘까요? 모든 코드를 삭제하고 처음부터 다시 구현하려고 시도하는 건가요, 수정 사항을 추가하려고 하는 건가요?

Andrej Karpathy 00:28:10

좋은 질문이에요. 기본적으로 처음부터 끝까지 전체 파이프라인을 거치는 약 8,000줄의 코드예요. 아마도 오른쪽 모니터에 놓을 거예요. 두 개의 모니터가 있다면, 오른쪽에 놓고요. 처음부터 만들고 싶으면, 처음부터 시작해요. 복사-붙여넣기는 허용되지 않고, 참조는 허용되지만, 복사-붙여넣기는 허용되지 않아요. 아마도 제가 그렇게 할 거예요.

하지만 저는 또한 저장소 자체가 꽤 큰 괴물이라고 생각해요. 이 코드를 작성할 때, 위에서 아래로 가지 않고, 덩어리에서 가고 덩어리를 키우는데, 그 정보는 없어요. 어디서 시작해야 할지 모를 거예요. 그래서 최종 저장소만 필요한 게 아니라, 저장소를 만드는 것이 필요한데, 그건 복잡한 덩어리 성장 과정이에요. 그래서 그 부분은 아직 없어요. 아마도 이번 주 후반에 추가하고 싶어요. 아마도 비디오나 그런 게 될 거예요. 대략적으로, 그게 제가 하려고 하는 거예요. 스스로 만들되, 복사-붙여넣기를 허용하지 마세요.

저는 거의 두 가지 유형의 지식이 있다고 생각해요. 고수준의 표면 지식이 있지만, 처음부터 뭔가를 만들 때, 당신이 이해하지 못하는 것과 마주해야 하고, 당신이 이해하지 못한다는 걸 몰랐던 것과 마주해야 해요.

항상 더 깊은 이해로 이어져요. 그게 만드는 유일한 방법이에요. 만들 수 없다면, 이해하지 못하는 거예요. 그건 Feynman의 인용구라고 믿어요. 저는 이걸 항상 매우 강하게 믿어왔어요. 제대로 배열되지 않은 이런 미세한 것들이 있고, 실제로 지식을 갖고 있지 않기 때문이에요. 그냥 지식을 갖고 있다고 생각할 뿐이죠. 그래서 블로그 게시물을 쓰지 마세요, 슬라이드를 만들지 마세요, 그런 것들을 하지 마세요. 코드를 만들고, 배열하고, 작동하게 하세요. 그게 가는 유일한 방법이에요. 그렇지 않으면, 지식을 놓치고 있는 거예요.

00:29:45 – LLM 인지 장애

Dwarkesh Patel 00:29:45

이 저장소를 조립하는 데 코딩 모델이 거의 도움이 되지 않았다고 트윗하셨어요. 왜 그랬는지 궁금해요.

Andrej Karpathy 00:29:53

한 달이 조금 넘는 기간 동안 저장소를 만들었다고 말하고 싶어요. 현재 사람들이 코드와 상호작용하는 방식에는 세 가지 주요 클래스가 있다고 말하고 싶고요. 어떤 사람들은 LLM을 완전히 거부하고 그냥 처음부터 작성해요. 이건 아마도 더 이상 올바른 방법이 아니에요.

중간 부분은 제가 있는 곳인데, 여전히 많은 것들을 처음부터 작성하지만, 이제 이 모델들로부터 사용 가능한 자동 완성을 사용해요. 작은 조각을 작성하기 시작하면, 자동으로 완성해 주고 탭으로 넘어갈 수 있어요. 대부분의 경우 맞고, 때로는 틀리고, 편집하죠. 하지만 여전히 당신이 작성하고 있는 것의 설계자예요. 그런 다음 바이브 코딩이 있어요: "안녕, 이것 또는 저것을 구현해 줘", 엔터, 그리고 모델이 하게 해요. 그게 에이전트예요.

저는 에이전트가 매우 특정한 설정에서 작동하고, 특정한 설정에서 사용할 거라고 느껴요. 하지만 이것들은 모두 사용 가능한 도구이고, 그것들이 뭘 잘하는지, 뭘 잘하지 못하는지, 언제 사용해야 하는지 배워야 해요. 에이전트는 예를 들어 상용구 작업을 할 때 꽤 좋아요. 그냥 복사-붙여넣기 하는 상용구 코드, 그런 것들에 매우 좋아요. 인터넷에서 매우 자주 발생하는 것들에 매우 좋아요. 왜냐하면 이런 모델들의 훈련 세트에 많은 예제가 있기 때문이에요. 모델이 매우 잘할 것의 특징들이 있어요.

nanochat은 그런 예가 아니라고 말하고 싶어요. 왜냐하면 그건 상당히 독특한 저장소이기 때문이에요. 제가 구조화한 방식으로 그렇게 많은 코드가 없어요. 상용구 코드가 아니에요. 지적으로 집약적인 코드이고, 모든 게 매우 정확하게 배열되어야 해요. 모델들은 너무 많은 인지적 결함을 갖고 있어요. 한 예로, 그들은 제가 채택하지 않은 인터넷의 모든 일반적인 방법에서 너무 많은 기억을 갖고 있기 때문에 코드를 계속 오해했어요. 모델들은 예를 들어—전체 세부 사항으로 들어가고 싶은지 모르겠지만—제가 일반 코드를 작성하고 있다고 계속 생각했지만, 저는 그렇지 않았어요.

Dwarkesh Patel 00:31:49

아마도 한 가지 예?

Andrej Karpathy 00:31:51

8개의 GPU가 있고 모두 순방향, 역방향을 하고 있어요. 그들 사이에 기울기를 동기화하는 방법은 PyTorch의 Distributed Data Parallel 컨테이너를 사용하는 건데, 역방향을 하면서 자동으로 통신을 시작하고 기울기를 동기화해요. 저는 DDP를 사용하지 않았어요. 왜냐하면 사용하고 싶지 않았기 때문이에요. 필요하지 않으니까요. 버리고 최적화기의 단계 내부에 있는 제 자신의 동기화 루틴을 작성했어요. 모델들은 저에게 DDP 컨테이너를 사용하도록 하려고 했어요. 그들은 매우 걱정했죠. 이건 너무 기술적이 되지만, 저는 그 컨테이너를 사용하지 않았어요. 왜냐하면 필요하지 않고 그것과 비슷한 것의 맞춤 구현을 갖고 있기 때문이에요.

Dwarkesh Patel 00:32:26

그들은 당신이 자신의 걸 갖고 있다는 걸 내면화할 수 없었네요.

Andrej Karpathy 00:32:28

그걸 넘어갈 수 없었어요. 스타일을 망치려고 계속 시도했어요. 너무 과도하게 방어적이에요. 온갖 try-catch 문을 만들어요. 프로덕션 코드베이스를 만들려고 계속 하는데, 제 코드에는 많은 가정이 있고, 괜찮아요. 거기에 이 모든 추가 것들이 필요하지 않아요. 그래서 저는 그들이 코드베이스를 부풀리고, 복잡성을 부풀리고, 계속 오해하고, 여러 번 사용이 중단된 API를 사용하고 있다고 느껴요. 완전히 엉망이에요. 그냥 순 유용하지 않아요. 들어가서 정리할 수는 있지만, 순 유용하지 않죠.

또한 저는 원하는 걸 영어로 타이핑해야 하는 게 성가시다고 느껴요. 너무 많은 타이핑이기 때문이에요. 제가 원하는 코드 부분으로 이동하고, 코드가 나타나야 할 곳으로 가서 처음 몇 글자를 입력하기 시작하면, 자동 완성이 이해하고 코드를 줘요. 이건 원하는 걸 지정하는 매우 높은 정보 대역폭이에요. 원하는 코드를 가리키고, 처음 몇 조각을 입력하면, 모델이 완성하죠.

제 말은, 이 모델들은 스택의 특정 부분에서 좋아요. 제가 모델을 사용한 두 가지 예가 있는데, 예시적이라고 생각해요. 하나는 보고서를 생성했을 때예요. 그건 더 상용구적이어서, 일부를 부분적으로 바이브 코딩했어요. 미션 크리티컬한 게 아니기 때문에 괜찮았고, 잘 작동해요.

다른 부분은 Rust로 토크나이저를 다시 작성할 때였어요. 저는 Rust를 잘하지 못해요. Rust는 상당히 새롭기 때문이에요. 그래서 Rust 코드를 작성할 때 약간의 바이브 코딩이 있었어요. 하지만 저는 완전히 이해하는 Python 구현을 갖고 있었고, 더 효율적인 버전을 만들고 있는지 확인하고 있었고, 테스트를 갖고 있어서 그런 것들을 하는 게 더 안전하다고 느꼈어요. 그들은 당신이 익숙하지 않을 수 있는 언어나 패러다임에 대한 접근성을 높여요. 거기서도 매우 유용하다고 생각해요. Rust 코드가 많이 있고, 모델들이 꽤 잘해요. 저는 그것에 대해 많이 모르므로, 모델들이 거기서 매우 유용해요.

Dwarkesh Patel 00:34:23

이 질문이 그렇게 흥미로운 이유는 사람들이 AI 폭발과 초지능에 매우 빠르게 도달하는 것에 대한 주요 이야기가 AI가 AI 엔지니어링과 AI 연구를 자동화한다는 거기 때문이에요. 그들은 Claude Code를 갖고 있고 처음부터 전체 애플리케이션, CRUD 애플리케이션을 만들 수 있다는 사실을 보고, "만약 OpenAI와 DeepMind 내부에서 같은 능력을 가졌다면, 작은 아키텍처 조정을 찾는 수천 명의 당신 또는 백만 명의 당신을 병렬로 상상해 보라"고 생각해요.

그들이 비대칭적으로 더 나쁜 게 바로 이거라고 당신이 말하는 걸 듣는 게 매우 흥미로워요. AI 2027형 폭발이 곧 일어날 가능성이 있는지 예측하는 데 상당히 관련이 있어요.

Andrej Karpathy 00:35:05

그건 좋은 표현 방식이고, 제 타임라인이 약간 더 긴 이유를 이해하고 있어요. 당신 말이 맞아요. 그들은 이전에 작성된 적이 없는 코드에 그다지 좋지 않아요. 아마도 그걸 표현하는 한 가지 방법일 거고, 우리가 이 모델들을 만들 때 달성하려고 하는 거예요.

Dwarkesh Patel 00:35:19

매우 순진한 질문이지만, nanochat에 추가하고 있는 아키텍처 조정은 어딘가 논문에 있잖아요, 그렇죠? 심지어 어딘가 저장소에 있을 수도 있고요. "RoPE 임베딩을 추가해"라고 하면, 그들이 그걸 잘못된 방식으로 하는 게 놀랍지 않나요?

Andrej Karpathy 00:35:42

어려워요. 그들은 알지만, 완전히 알지는 못해요. 저장소와 당신의 스타일과 당신의 코드와 당신의 장소, 그리고 당신이 하고 있는 일부 맞춤 사항과 저장소의 모든 가정과 어떻게 맞는지에 완전히 통합하는 방법을 몰라요. 그들은 약간의 지식을 갖고 있지만, 그걸 통합하고 이해할 수 있는 곳에 도달하지 못했어요.

많은 것들이 계속 개선되고 있어요. 현재 제가 사용하는 최첨단 모델은 GPT-5 Pro이고, 그건 매우 강력한 모델이에요. 20분이 있다면, 전체 저장소를 복사-붙여넣기하고 GPT-5 Pro, 오라클에 가서 몇 가지 질문을 해요. 종종 그다지 나쁘지 않고 1년 전에 존재했던 것에 비해 놀랍게도 좋아요.

전반적으로, 모델들은 거기 있지 않아요. 업계가 너무 큰 도약을 하고 있고 이게 놀랍다고 가장하려고 하는 것 같다고 느끼지만, 그렇지 않아요. 슬롭이에요. 그들은 그것과 마주하고 있지 않고, 아마도 자금 조달을 하려고 하거나 그런 것일 수도 있어요. 무슨 일이 일어나고 있는지 모르겠지만, 우리는 이 중간 단계에 있어요. 모델들은 놀라워요. 여전히 많은 작업이 필요하고요. 지금으로서는, 자동 완성이 제 스위트 스팟이에요. 하지만 때때로, 어떤 유형의 코드에 대해서는, 저는 LLM 에이전트로 갈 거예요.

Dwarkesh Patel 00:36:53

이게 정말 흥미로운 또 다른 이유가 있어요. 프로그래밍 역사를 통해 많은 생산성 향상이 있었어요—컴파일러, 린팅, 더 나은 프로그래밍 언어—프로그래머 생산성을 높였지만 폭발로 이어지지 않았어요. 그건 자동 완성 탭과 매우 비슷하게 들리고, 이 다른 범주는 그냥 프로그래머의 자동화예요. 당신이 더 나은 컴파일러나 그런 것의 역사적 유사성의 범주에서 더 많이 보고 있다는 게 흥미로워요.

Andrej Karpathy 00:37:26

아마도 이건 한 가지 다른 생각으로 이어져요. 저는 AI가 어디서 시작하고 멈추는지 구별하기 어려워요. 왜냐하면 저는 AI를 근본적으로 꽤 근본적인 방식으로 컴퓨팅의 확장으로 보기 때문이에요. 저는 이것의 연속체를 봐요. 재귀적 자기 개선 또는 프로그래머를 가속화하는 것의 처음부터의 연속체: 코드 편집기, 구문 강조, 또는 타입 검사 같은, 데이터 타입 검사—우리가 서로를 위해 만든 이 모든 도구들.

심지어 검색 엔진도요. 검색 엔진이 왜 AI의 일부가 아닌가요? 순위 매기기는 AI예요. 어느 시점에, Google은 초기에도 Google 검색 엔진을 하는 AI 회사로 스스로를 생각했어요. 그건 전적으로 공정해요.

저는 그걸 다른 사람들보다 훨씬 더 연속체로 봐요. 저에게는 선을 긋기 어려워요. 이제 우리는 훨씬 더 나은 자동 완성을 얻고 있고, 이제 우리는 또한 이런 반복적인 것들인 일부 에이전트를 얻고 있지만, 때로는 궤도를 벗어나요. 일어나고 있는 건 인간이 점진적으로 저수준의 것들을 조금씩 덜 하고 있다는 거예요. 우리는 어셈블리 코드를 작성하지 않아요. 왜냐하면 컴파일러가 있기 때문이에요. 컴파일러가 C의 고수준 언어를 가져와서 어셈블리 코드를 작성할 거예요.

우리는 매우, 매우 천천히 스스로를 추상화하고 있어요. 제가 "자율성 슬라이더"라고 부르는 게 있는데, 점점 더 많은 것들이 자동화되고—어느 시점에 자동화될 수 있는 것들 중—우리는 조금씩 덜 하고 있고, 자동화 위의 추상화 계층에서 우리 자신을 높이고 있어요.

00:40:05 – RL은 끔찍해요

Dwarkesh Patel 00:40:05

RL에 대해 조금 이야기해 봐요. 이것에 대해 매우 흥미로운 것들을 트윗하셨어요. 개념적으로, 인간이 환경과 상호작용하는 것만으로 풍부한 세계 모델을 구축할 수 있는 방식에 대해 어떻게 생각해야 할까요? 그리고 에피소드 끝의 최종 보상과 거의 무관한 것처럼 보이는 방식으로요?

만약 누군가가 사업을 시작하고, 10년 후에 사업이 성공했는지 실패했는지 알게 된다면, 우리는 그녀가 많은 지혜와 경험을 얻었다고 말해요. 하지만 그건 지난 10년 동안 일어난 모든 단일 것의 로그 확률이 상향 또는 하향 가중되었기 때문이 아니에요. 훨씬 더 의도적이고 풍부한 뭔가가 일어나고 있어요. ML 비유는 뭐고, 지금 LLM으로 하고 있는 것과 어떻게 비교되나요?

Andrej Karpathy 00:40:47

아마도 제가 표현하는 방식은 인간은 강화학습을 사용하지 않는다는 거예요. 제가 말했듯이요. 다른 걸 한다고 생각해요. 강화학습은 평균적인 사람이 생각하는 것보다 훨씬 더 나빠요. 강화학습은 끔찍해요. 그 전에 가지고 있던 모든 게 훨씬 더 나빴기 때문에 그런 일이 일어난 것뿐이에요. 왜냐하면 이전에는 그냥 사람들을 모방하고 있었고, 그래서 모든 이런 문제들이 있었거든요.

강화학습에서는, 수학 문제를 푼다고 해 봐요. 매우 간단하니까요. 수학 문제가 주어지고 해답을 찾으려고 해요. 강화학습에서는, 먼저 병렬로 많은 것들을 시도할 거예요. 문제가 주어지면, 수백 가지 다른 시도를 해요. 이 시도들은 복잡할 수 있어요. "이걸 시도해 보자, 저걸 시도해 보자, 이건 작동하지 않았다, 저건 작동하지 않았다" 등등이 될 수 있죠. 그런 다음 아마도 답을 얻어요. 이제 책 뒷면을 확인하고 "좋아, 정답은 이거다"라고 봐요. 이것, 이것, 저것이 정답을 얻었지만, 이 다른 97개는 그렇지 않았다는 걸 볼 수 있어요. 문자 그대로 강화학습이 하는 건 정말 잘 작동한 것들로 가서 과정에서 한 모든 단일 것, 모든 단일 토큰이 "이걸 더 많이 하라"처럼 상향 가중되는 거예요.

그것의 문제는 사람들이 당신의 추정기가 높은 분산을 갖고 있다고 말하겠지만, 그냥 노이즈예요. 노이즈예요. 그건 거의 정답에 도달한 해답의 모든 작은 조각이 해야 할 올바른 일이었다고 가정하는데, 그건 사실이 아니에요. 정답에 도달할 때까지 잘못된 골목으로 갔을 수도 있어요. 정답을 얻는 한, 한 모든 단일 잘못된 것들은 "이걸 더 많이 하라"로 상향 가중될 거예요. 끔찍해요. 노이즈예요.

이 모든 작업을 했는데 결국, "오, 맞았어"라는 단일 숫자를 얻어요. 그걸 기반으로, 전체 궤적을 상향 가중 또는 하향 가중하는 것으로 가중해요. 제가 좋아하는 표현은 빨대를 통해 감독을 빨아들이고 있다는 거예요. 1분의 롤아웃이 될 수 있는 이 모든 작업을 했고, 최종 보상 신호의 감독 비트를 빨대를 통해 빨아들이고 있고, 전체 궤적에 걸쳐 그걸 방송하고 그걸 사용해서 궤적을 상향 가중 또는 하향 가중하고 있어요. 그냥 어리석고 미친 짓이에요.

인간은 결코 이렇게 하지 않을 거예요. 첫째, 인간은 결코 수백 개의 롤아웃을 하지 않을 거예요. 둘째, 사람이 해답을 찾았을 때, "좋아, 이 부분들은 잘했다고 생각하고, 이 부분들은 그다지 잘하지 못했어. 아마도 이것 또는 저것을 해야 할 거야"와 같은 꽤 복잡한 검토 과정을 가질 거예요. 그들은 일들을 생각해요. 현재 LLM에는 이걸 하는 게 없어요. 그것과 동등한 게 없어요. 하지만 저는 논문들이 나타나는 걸 보고 있어요. 그걸 하려고 시도하는 논문들이 나타나고 있어요. 왜냐하면 그건 분야의 모든 사람에게 명백하기 때문이에요.

첫 번째 모방 학습은, 그런데, 극도로 놀랍고 기적적이고 놀라웠어요. 인간에 대한 모방으로 미세 조정할 수 있다는 거예요. 그건 놀라웠어요. 왜냐하면 처음에는, 우리가 가진 건 베이스 모델뿐이었기 때문이에요. 베이스 모델은 자동 완성이에요. 당시 저에게 명백하지 않았고, 저는 이걸 배워야 했어요. 제 마음을 날려버린 논문은 InstructGPT였어요. 왜냐하면 그건 사전 훈련된 모델, 즉 자동 완성을 가져와서, 대화처럼 보이는 텍스트로 미세 조정하면, 모델이 매우 빠르게 적응해서 매우 대화적이 되고, 사전 훈련으로부터 모든 지식을 유지한다는 걸 지적했기 때문이에요. 이건 제 마음을 날려버렸어요. 왜냐하면 문체적으로, 그렇게 빠르게 조정할 수 있고 단지 그런 종류의 데이터에 대한 몇 번의 미세 조정 루프를 통해 사용자에게 어시스턴트가 될 수 있다는 걸 이해하지 못했기 때문이에요. 그게 작동한다는 게 저에게는 매우 기적적이었어요. 너무나 놀라웠죠. 그건 2~3년의 작업이었어요.

이제 RL이 왔어요. 그리고 RL은 단순한 모방 학습보다 조금 더 잘할 수 있게 해 줘요. 왜냐하면 이런 보상 함수를 가질 수 있고 보상 함수에 대해 언덕 오르기를 할 수 있기 때문이에요. 일부 문제들은 그냥 정답이 있고, 전문가 궤적을 모방하지 않고도 그것에 대해 언덕 오르기를 할 수 있어요. 그래서 그건 놀라워요. 모델은 또한 인간이 절대 생각해내지 못할 수도 있는 해답을 발견할 수 있어요. 이건 놀라워요. 하지만, 여전히 어리석어요.

더 필요해요. 어제 Google에서 이 반성 & 검토 아이디어를 염두에 두려고 시도한 논문을 봤어요. 메모리 뱅크 논문이었나요? 모르겠어요. 그런 방향의 몇 가지 논문을 봤어요. 그래서 저는 LLM에 대한 알고리듬을 하는 방법에 대한 주요 업데이트가 그 영역에서 올 거로 예상해요. 우리는 세 개나 네 개나 다섯 개가 더 필요하다고 생각해요, 그런 거예요.

Dwarkesh Patel 00:44:54

당신은 생생한 문구를 만드는 데 정말 능숙하시네요. "빨대를 통해 감독을 빨아들이기" 정말 좋아요.

결과 기반 보상의 문제는 이 거대한 궤적이 있고, 끝에 그 하나의 최종 비트에서 해야 할 일과 세상에 대해 배워야 할 모든 가능한 걸 배우려고 한다는 거라고 말씀하시는 거군요. 이게 명백하다는 점을 감안할 때, 프로세스 기반 감독이 대안으로서 모델을 더 유능하게 만드는 성공적인 방법이 되지 못한 이유는 뭔가요? 이 대안 패러다임을 사용하는 걸 막고 있는 게 뭔가요?

Andrej Karpathy 00:45:29

프로세스 기반 감독은 그냥 우리가 맨 끝에만 보상 함수를 갖지 않을 거라는 사실을 나타내요. 10분의 작업을 한 후에, 잘했는지 못했는지 말하지 않을 거예요. 모든 단계마다 얼마나 잘하고 있는지 말할 거예요. 우리가 그걸 갖고 있지 않은 이유는 그걸 제대로 하는 게 까다롭기 때문이에요. 부분적인 해답이 있고 크레딧을 어떻게 할당할지 모르거든요. 정답을 얻으면, 그건 그냥 답에 대한 동등성 매치예요. 구현하기 매우 간단해요. 프로세스 감독을 하고 있다면, 자동화 가능한 방식으로 부분 크레딧 할당을 어떻게 할당하나요? 어떻게 하는지 명확하지 않아요.

많은 연구소들이 이런 LLM 심판들로 그걸 하려고 노력하고 있어요. LLM이 그걸 하려고 해요. LLM에 프롬프트를 줘요, "이봐, 학생의 부분 해답을 봐. 답이 이거라면 그들이 얼마나 잘하고 있다고 생각해?" 그리고 그들은 프롬프트를 조정하려고 노력하죠.

이게 까다로운 이유는 꽤 미묘해요. 보상을 할당하기 위해 LLM을 사용할 때마다, 그 LLM들은 수십억 개의 파라미터를 가진 거대한 것들이고, 게임 가능해요. 그것들에 대해 강화학습을 하고 있다면, LLM 심판들에 대한 적대적 예제를 찾을 거예요, 거의 보장돼요. 그래서 이걸 너무 오래 할 수 없어요. 아마도 10단계나 20단계를 하면, 작동할 수 있지만, 100이나 1,000을 할 수 없어요. 명백하지 않다는 걸 이해하지만, 기본적으로 모델이 작은 균열을 찾을 거예요. 거대한 모델의 구석구석에서 이런 모든 허위 것들을 찾아내고 그걸 속이는 방법을 찾을 거예요.

제 마음속에 두드러지게 있는 한 예는, 이건 아마 공개적이었어요, 보상을 위해 LLM 심판을 사용하고 있다면, 학생으로부터 해답을 주고 학생이 잘했는지 안 했는지 물어봐요. 우리는 그 보상 함수에 대해 강화학습으로 훈련하고 있었고, 정말 잘 작동했어요. 그런 다음, 갑자기, 보상이 극도로 커졌어요. 엄청난 점프였고, 완벽하게 했어요. 그걸 보면서, "와, 이건 학생이 이 모든 문제에서 완벽하다는 걸 의미해. 수학을 완전히 해결했다"라고 생각하죠.

하지만 모델로부터 얻고 있는 완성물들을 보면, 완전한 말도 안 되는 것들이에요. 괜찮게 시작하고, 그런 다음 "dhdhdhdh"로 바뀌어요. 그냥 "오 좋아, 2 더하기 3을 가져가서 이걸 하고 저걸 하고, 그런 다음 dhdhdhdh"예요. 그걸 보고 있으면, 이건 미친 거예요. 어떻게 1이나 100%의 보상을 얻고 있나요? LLM 심판을 보면, "dhdhdhdh"가 모델에 대한 적대적 예제라는 게 밝혀지고, 100% 확률을 할당해요.

그냥 이게 LLM에 대한 샘플 외 예제이기 때문이에요. 훈련 중에 그걸 본 적이 없고, 순수한 일반화 영역에 있어요. 훈련 중에 그걸 본 적이 없고, 순수한 일반화 영역에서, 그걸 깨뜨리는 이런 예제들을 찾을 수 있어요.

Dwarkesh Patel 00:47:52

기본적으로 LLM을 프롬프트 주입 모델이 되도록 훈련시키고 있는 거군요.

Andrej Karpathy 00:47:56

그것조차도 아니에요. 프롬프트 주입은 너무 팬시해요. 적대적 예제를 찾고 있어요, 그들이 부르는 대로요. 이것들은 명백히 틀린 말도 안 되는 해답들이지만, 모델은 그것들이 놀랍다고 생각해요.

Dwarkesh Patel 00:48:07

이게 RL을 더 기능적으로 만드는 병목이라고 생각하는 한, 자동화된 방식으로 하려면 LLM을 더 나은 심판으로 만들어야 할 거예요. 모델을 더 견고하게 만들기 위해 GAN 같은 접근 방식을 해야 하는 건가요?

Andrej Karpathy 00:48:22

연구소들은 아마도 그 모든 걸 하고 있을 거예요. 명백한 건, "dhdhdhdh"가 100% 보상을 받아서는 안 된다는 거예요. 좋아, "dhdhdhdh"를 가져가서, LLM 심판의 훈련 세트에 넣고, 이건 100%가 아니고, 0%라고 말해요. 이걸 할 수 있지만, 이걸 할 때마다, 새로운 LLM을 얻고, 여전히 적대적 예제를 갖고 있어요. 무한한 적대적 예제가 있거든요.

아마도 이걸 몇 번 반복하면, 적대적 예제를 찾기가 점점 더 어려워질 거예요. 하지만 100% 확신하지 못해요. 왜냐하면 이건 1조 개의 파라미터나 그런 걸 갖고 있기 때문이에요. 연구소들이 시도하고 있다고 장담해요. 여전히 다른 아이디어가 필요하다고 생각해요.

Dwarkesh Patel 00:48:57

흥미롭네요. 다른 아이디어가 어떤 모양일 수 있을지에 대한 생각이 있으세요?

Andrej Karpathy 00:49:02

해답을 검토하고 합성 예제를 포함하는 이 아이디어가 있어서, 그것들에 대해 훈련할 때, 더 나아지고, 어떤 방식으로 메타 학습해요. 시작하는 몇 가지 논문이 있다고 생각해요. 저는 추상만 읽는 단계에 있어요. 왜냐하면 이 논문들 중 많은 게 그냥 아이디어이기 때문이에요. 누군가는 그걸 프론티어 LLM 연구소 규모에서 완전한 일반성으로 작동하게 만들어야 해요. 왜냐하면 이 논문들을 볼 때, 나타나고, 약간 노이즈예요. 멋진 아이디어들이지만, 이게 가능하다는 걸 설득력 있게 보여준 사람을 본 적이 없어요. 그렇다고 해도, LLM 연구소들은 상당히 폐쇄적이어서, 그들이 지금 뭘 하고 있는지 아무도 몰라요.

00:49:38 – 인간은 어떻게 학습하는가?

Dwarkesh Patel 00:49:38

합성 예제나 스스로 만든 합성 문제에 대해 훈련할 수 있는 방법을 개념화할 수 있어요. 하지만 인간이 하는 또 다른 게 있는 것 같아요—아마도 수면이 이거고, 아마도 백일몽이 이건데—반드시 가짜 문제를 만들어내는 게 아니라, 그냥 반성하는 거예요.

백일몽이나 수면, 또는 그냥 반성에 대한 ML 비유가 뭔지 확신이 서지 않아요. 저는 새로운 문제를 만들어내지 않았어요. 명백히, 매우 기본적인 비유는 반성 비트에 대해 미세 조정하는 것이겠지만, 실제로 그게 아마도 그렇게 잘 작동하지 않을 것 같은 느낌이 들어요. 이것의 비유가 뭔지에 대한 생각이 있으세요?

Andrej Karpathy 00:50:17

우리가 거기서 일부 측면을 놓치고 있다고 생각해요. 예를 들어, 책을 읽는 걸 봐요. 현재 LLM이 책을 읽고 있을 때, 그게 의미하는 건 텍스트 시퀀스를 펼치고, 모델이 다음 토큰을 예측하고, 그것으로부터 일부 지식을 얻고 있다는 거예요. 그건 실제로 인간이 하는 게 아니에요. 책을 읽고 있을 때, 책이 주의를 기울이고 훈련해야 하는 설명이라고 느껴지지 않아요. 책은 합성 데이터 생성을 하기 위한 프롬프트 세트예요, 또는 북 클럽에 가서 친구들과 그것에 대해 이야기하기 위한 거죠. 그 정보를 조작함으로써 실제로 그 지식을 얻어요. LLM과 동등한 게 없어요. 그들은 실제로 그걸 하지 않아요. 사전 훈련 중에 자료를 생각하고 이미 알고 있는 것과 조화시키려고 노력하는 어떤 단계가 있기를 좋아하고, 그것에 대해 얼마간의 시간 동안 생각하고 그게 작동하게 해요. 이것 중 어느 것도 동등한 게 없어요. 이건 모두 연구예요.

매우 미묘한—제 생각에 이해하기 매우 어렵다고 생각하는—이유들이 있는데 왜 사소하지 않은지에 대해요. 제가 하나를 설명할 수 있다면: 왜 우리는 합성적으로 생성하고 그것에 대해 훈련할 수 없나요? 모델이 책에 대해 생각하는 합성 생성을 주면, 그걸 보고 "이건 훌륭해 보여. 왜 그것에 대해 훈련할 수 없나요?"라고 생각해요. 시도할 수 있지만, 계속 시도하면 모델이 훨씬 더 나빠질 거예요. 그건 모델에서 얻는 모든 샘플이 조용히 붕괴되기 때문이에요. 조용히—개별 예제를 보면 명백하지 않아요—그것들은 가능한 생각의 공간의 매우 작은 매니폴드를 차지해요. LLM들은 나올 때, 그들은 우리가 "붕괴된"이라고 부르는 거예요. 붕괴된 데이터 분포를 갖고 있죠. 그걸 보는 쉬운 방법 하나는 ChatGPT에 가서 "농담을 해 줘"라고 물어보는 거예요. 3개의 농담만 갖고 있어요. 가능한 농담의 전체 폭을 주지 않아요. 3개의 농담을 알고 있어요. 그것들은 조용히 붕괴되어 있어요.

이 모델들로부터 인간으로부터 얻는 것처럼 풍부함과 다양성과 엔트로피를 얻지 못하고 있어요. 인간은 훨씬 더 노이즈가 많지만, 적어도 편향되지 않았어요, 통계적 의미에서요. 조용히 붕괴되지 않았어요. 엄청난 양의 엔트로피를 유지해요. 그래서 붕괴에도 불구하고 합성 데이터 생성이 작동하게 하면서 엔트로피를 유지하는 방법은 뭔가요? 그건 연구 문제예요.

Dwarkesh Patel 00:52:20

제대로 이해했는지 확인하기 위해, 붕괴가 합성 데이터 생성과 관련이 있는 이유는 이미 데이터 분포에 없는 합성 문제나 반성을 만들어낼 수 있기를 원하기 때문인가요?

Andrej Karpathy 00:52:32

제 말은, 책의 한 챕터가 있고 LLM에게 그것에 대해 생각하라고 하면, 매우 합리적으로 보이는 뭔가를 줄 거예요. 하지만 10번 물어보면, 모두 똑같다는 걸 알게 될 거예요.

Dwarkesh Patel 00:52:44

같은 양의 프롬프트 정보에 대해 "반성"을 계속 스케일링하고 거기서 수익을 얻을 수 없다는 말씀이시군요.

Andrej Karpathy 00:52:54

개별 샘플은 괜찮아 보이지만, 그것의 분포는 꽤 끔찍해요. 너무 많은 자신의 것에 대해 계속 훈련하면 실제로 붕괴한다는 방식으로 꽤 끔찍하죠.

저는 이것에 대한 근본적인 해결책이 없을 가능성이 있다고 생각해요. 또한 인간도 시간이 지남에 따라 붕괴한다고 생각해요. 이런 비유들은 놀랍도록 좋아요. 인간은 그들의 삶 동안 붕괴해요. 그게 아이들이, 아직 과적합하지 않은 이유예요. 그들은 당신을 충격에 빠뜨릴 수 있는 것들을 말할 거예요. 왜냐하면 당신은 그들이 어디서 오는지 볼 수 있지만, 그건 그냥 사람들이 말하는 게 아니기 때문이에요. 왜냐하면 그들은 아직 붕괴되지 않았으니까요. 하지만 우리는 붕괴되어 있어요. 우리는 같은 생각들을 다시 방문하게 돼요. 점점 더 같은 것들을 말하게 되고, 학습률이 내려가고, 붕괴가 계속 악화되고, 그런 다음 모든 게 악화돼요.

Dwarkesh Patel 00:53:39

꿈이 이런 종류의 과적합과 붕괴를 방지하는 방법이라는 매우 흥미로운 논문을 보셨나요? 꿈이 진화적으로 적응적인 이유는 일상 현실과 매우 다른 이상한 상황에 당신을 놓기 때문에, 이런 종류의 과적합을 방지하기 위해서예요.

Andrej Karpathy 00:53:55

흥미로운 아이디어예요. 머릿속에서 것들을 생성하고 그것에 주의를 기울일 때, 당신의 합성 데이터에 대해 훈련하고 있다고 생각해요. 너무 오래 하면, 궤도를 벗어나고 너무 많이 붕괴해요. 항상 삶에서 엔트로피를 찾아야 해요. 다른 사람들과 대화하는 건 훌륭한 엔트로피 소스예요, 그런 것들요. 그래서 아마도 뇌도 그 과정에서 엔트로피의 양을 증가시키기 위한 내부 메커니즘을 구축했을 거예요. 그건 흥미로운 아이디어예요.

Dwarkesh Patel 00:54:25

이건 매우 제대로 형성되지 않은 생각이니 그냥 말하고 반응해 주세요. 우리가 알고 있는 최고의 학습자들, 즉 어린이들은 정보를 회상하는 데 극도로 나빠요. 사실, 유년기의 가장 초기 단계에서는 모든 걸 잊어버릴 거예요. 특정 나이 이전에 일어난 모든 것에 대해 기억상실증 환자일 뿐이에요. 하지만 새로운 언어를 습득하고 세상에서 배우는 데 극도로 좋아요. 아마도 나무 대신 숲을 볼 수 있는 요소가 있을 거예요.

반면 스펙트럼의 반대편과 비교하면, LLM 사전 학습이 있는데, 이 모델들은 문자 그대로 위키피디아 페이지에서 다음 게 뭔지 단어 하나하나 반복할 수 있을 거예요. 하지만 어린이가 할 수 있는 방식으로 추상적인 개념을 정말 빠르게 배우는 능력은 훨씬 더 제한적이에요. 그런 다음 성인은 그 중간 어딘가에 있는데, 유년기 학습의 유연성은 없지만, 아이들에게는 더 어려운 방식으로 사실과 정보를 암기할 수 있어요. 그 스펙트럼에 대해 흥미로운 뭔가가 있는지 모르겠어요.

Andrej Karpathy 00:55:19

그것에 대해 매우 흥미로운 뭔가가 있다고 생각해요, 100%. 저는 인간이 LLM에 비해 나무 대신 숲을 보는 요소를 훨씬 더 많이 갖고 있다고 생각해요. 우리는 실제로 암기에 그렇게 좋지 않고, 그건 실제로 특징이에요. 암기를 잘하지 못하기 때문에, 더 일반적인 의미에서 패턴을 찾도록 강요받거든요.

LLM은 비교적으로 암기에 극도로 좋아요. 이 모든 훈련 소스로부터 구절들을 암송할 거예요. 완전히 말도 안 되는 데이터를 줄 수 있어요. 어떤 양의 텍스트를 해시하거나 그런 걸 할 수 있어요, 완전히 랜덤한 시퀀스를 얻고요. 그것에 대해 훈련하면, 한두 번의 반복만 해도, 갑자기 전체를 반복할 수 있어요. 암기할 거예요. 사람이 랜덤 숫자의 단일 시퀀스를 읽고 당신에게 암송할 방법이 없어요.

그건 버그가 아니라 특징이에요. 왜냐하면 일반화 가능한 구성 요소만 배우도록 강요하기 때문이에요. 반면 LLM은 사전 훈련 문서의 모든 기억으로 인해 산만해지고, 그건 아마도 특정 의미에서 그들에게 매우 산만할 거예요. 그래서 제가 인지 핵심에 대해 이야기할 때, 우리가 이야기한 기억을 제거하고 싶어요. 그들이 기억을 덜 갖고 있어서 것들을 찾아봐야 하고, 생각을 위한 알고리듬과 실험의 아이디어, 그리고 행동의 모든 인지적 접착제만 유지하기를 좋아할 거예요.

Dwarkesh Patel 00:56:36

이건 모델 붕괴를 방지하는 것과도 관련이 있나요?

Andrej Karpathy 00:56:41

생각해 볼게요. 확실하지 않아요. 그건 거의 별도의 축 같아요. 모델들은 암기를 너무 잘하고, 어떻게든 그걸 제거해야 해요. 사람들은 훨씬 더 나쁘지만, 그건 좋은 일이에요.

Dwarkesh Patel 00:56:57

모델 붕괴에 대한 해결책은 뭔가요? 시도할 수 있는 매우 순진한 것들이 있어요. 로짓에 대한 분포가 더 넓어야 한다거나 그런 것들이요. 시도할 수 있는 많은 순진한 것들이 있어요. 순진한 접근 방식들의 문제는 결국 뭔가요?

Andrej Karpathy 00:57:11

좋은 질문이에요. 엔트로피에 대한 정규화를 갖는 걸 상상할 수 있어요, 그런 것들요. 그것들이 경험적으로 그렇게 잘 작동하지 않는 것 같아요. 왜냐하면 지금 모델들은 붕괴되어 있기 때문이에요. 하지만 우리가 그들에게 원하는 대부분의 작업들은 실제로 다양성을 요구하지 않는다고 말하겠어요. 그게 아마도 무슨 일이 일어나고 있는지에 대한 답일 거예요.

프론티어 연구소들은 모델을 유용하게 만들려고 노력하고 있어요. 저는 출력의 다양성이 그다지... 첫째, 작업하고 평가하기가 훨씬 더 어렵고 그런 것들이지만, 아마도 대부분의 가치를 포착하고 있는 게 아닐 거예요.

Dwarkesh Patel 00:57:42

사실, 그건 적극적으로 페널티를 받아요. RL에서 매우 창의적이면, 좋지 않아요.

Andrej Karpathy 00:57:48

네. 또는 아마도 LLM의 많은 글쓰기 도움을 받고 있다면, 아마도 나쁠 거예요. 왜냐하면 모델들이 조용히 당신에게 모두 같은 걸 줄 거기 때문이에요. 질문에 답하는 많은 다른 방법들을 탐색하지 않을 거예요.

아마도 이 다양성은, 많은 애플리케이션이 필요로 하지 않기 때문에 모델들이 그걸 갖고 있지 않아요. 하지만 합성 데이터 생성 시간 등에서 문제가 돼요. 그래서 우리는 모델에서 이 엔트로피를 유지하도록 허용하지 않음으로써 스스로에게 발을 쏘고 있어요. 아마도 연구소들은 더 열심히 노력해야 해요.

Dwarkesh Patel 00:58:17

그게 매우 근본적인 문제라고 암시하셨다고 생각하는데, 해결하기 쉽지 않을 거라고요. 그것에 대한 당신의 직관은 뭔가요?

Andrej Karpathy 00:58:24

그게 매우 근본적이라고 확신하지 못해요. 그렇게 말하려고 의도했는지 모르겠어요. 이런 실험들을 해보지 않았지만, 아마도 엔트로피를 더 높게 정규화할 수 있을 거라고 생각해요. 그래서 모델이 점점 더 많은 해답을 주도록 장려하고 있지만, 훈련 데이터에서 너무 많이 벗어나는 건 원하지 않아요. 자신의 언어를 만들기 시작할 거예요. 극도로 드문 단어들을 사용하기 시작할 거니까, 분포에서 너무 많이 떠내려갈 거예요.

그래서 분포를 제어하는 게 그냥 까다롭다고 생각해요. 아마도 그런 의미에서 사소하지 않을 거예요.

Dwarkesh Patel 00:58:58

추측해야 한다면, 최적의 지능 핵심은 몇 비트가 되어야 할까요? 폰 노이만 탐사선에 넣을 것, 얼마나 커야 할까요?

Andrej Karpathy 00:59:10

분야의 역사에서 정말 흥미로운데, 왜냐하면 어느 시점에 모든 게 매우 스케일링 중독이었기 때문이에요. "오, 우리는 훨씬 더 큰 모델들을 만들 거야, 조 단위 파라미터 모델들." 모델들이 크기에서 한 번 올라갔다가 이제 내려왔어요. 최첨단 모델들은 더 작아요. 그런데도, 그들이 너무 많이 암기한다고 생각해요. 그래서 저는 한동안 전에 예측을 했는데, 저는 거의 10억 파라미터에서도 매우 좋은 인지 핵심을 얻을 수 있다고 느껴요.

10억 파라미터 모델과 대화한다면, 20년 후에 매우 생산적인 대화를 할 수 있다고 생각해요. 생각하고, 인간과 훨씬 더 비슷하죠. 하지만 어떤 사실적 질문을 하면, 찾아봐야 할 수도 있지만, 모르는 걸 알고 있고 찾아봐야 할 수도 있고 모든 합리적인 것들을 할 거예요.

Dwarkesh Patel 00:59:54

10억 파라미터가 걸릴 거라고 생각하시는 게 놀라워요. 왜냐하면 이미 10억 파라미터 모델이나 몇십억 파라미터 모델들이 있고 그것들이 매우 지능적이기 때문이에요.

Andrej Karpathy 01:00:02

음, 최첨단 모델들은 조 단위 파라미터 같아요. 하지만 그들은 너무 많은 걸 기억해요.

Dwarkesh Patel 01:00:06

네, 하지만 10년 후에 그 속도를 감안하면 놀라워요... gpt-oss-20b가 있어요. 그건 조 단위 이상의 파라미터였던 원래 GPT-4보다 훨씬 나아요. 그 추세를 감안하면, 10년 후에 인지 핵심이 여전히 10억 파라미터라고 생각하시는 게 놀라워요. 저는 당신이 "오 그건 수천만이나 수백만이 될 거야"라고 할 거로 놀랍지 않았을 거예요.

Andrej Karpathy 01:00:30

여기 문제가 있어요. 훈련 데이터는 인터넷인데, 정말 끔찍해요. 인터넷이 끔찍하기 때문에 얻을 수 있는 엄청난 이득이 있어요. 심지어 인터넷이, 당신과 제가 인터넷을 생각할 때, 당신은 월스트리트 저널 같은 걸 생각하고 있어요. 그게 이게 아니에요. 프론티어 연구소에서 사전 훈련 데이터셋을 보고 랜덤 인터넷 문서를 보면, 완전 쓰레기예요. 이게 어떻게 작동하는지 전혀 모르겠어요. 주식 티커, 기호 같은 것들, 인터넷의 모든 구석에서 나온 엄청난 양의 슬롭과 쓰레기예요. 월스트리트 저널 기사 같은 게 아니고, 그건 극도로 드물어요. 그래서 인터넷이 너무 끔찍하기 때문에, 우리는 그 모든 걸 압축하기 위해 정말 큰 모델들을 만들어야 해요. 그 압축의 대부분은 인지적 작업 대신 기억 작업이에요.

하지만 우리가 정말로 원하는 건 인지적 부분이고, 기억을 삭제하는 거예요. 제 말은, 우리가 인지적 구성 요소로만 좁히기 위해 사전 훈련 세트를 정제하는 걸 돕기 위해 지능적인 모델들이 필요하다는 거예요. 그러면 훨씬 더 나은 데이터셋이고 그것에 대해 훈련할 수 있기 때문에 훨씬 더 작은 모델로 해낼 수 있다고 생각해요. 하지만 아마도 그것에 대해 직접 훈련되지 않고, 아마도 여전히 훨씬 더 나은 모델로부터 증류될 거예요.

Dwarkesh Patel 01:01:35

하지만 증류된 버전이 왜 여전히 10억인가요?

Andrej Karpathy 01:01:39

저는 그냥 증류가 극도로 잘 작동한다고 느껴요. 그래서 거의 모든 작은 모델, 작은 모델이 있다면, 거의 확실히 증류되었어요.

Dwarkesh Patel 01:01:46

맞아요, 하지만 10년 후의 증류가 왜 10억 아래로 내려가지 않나요?

Andrej Karpathy 01:01:50

오, 당신은 10억보다 작아야 한다고 생각하세요? 제 말은, 제발요, 그렇죠? 모르겠어요. 어느 시점에 흥미로운 일을 하려면 적어도 10억 개의 노브가 필요해야 해요. 당신은 더 작아야 한다고 생각하세요?

Dwarkesh Patel 01:02:01

네. 지난 몇 년 동안 낮은 과일을 찾아서 조 단위 이상의 모델에서 문자 그대로 2배 작은 모델로, 2년 만에 더 나은 성능을 가지면서 가는 추세를 보면, 지능의 핵심이 훨씬, 훨씬 더 작을 수도 있다고 생각하게 만들어요. Feynman의 말을 빌리자면, 바닥에 충분한 공간이 있어요.

Andrej Karpathy 01:02:22

저는 10억 파라미터 인지 핵심에 대해 이야기하는 것만으로도 이미 비주류라고 느끼는데 당신이 저를 능가하고 있어요. 아마도 조금 더 작아질 수도 있어요. 실제로 모델이 어느 정도 지식을 갖고 있기를 원한다고 생각해요. 모든 걸 찾아보는 건 원하지 않아요. 왜냐하면 그러면 머릿속에서 생각할 수 없거든요. 항상 너무 많은 것들을 찾아보고 있어요. 일부 기본 커리큘럼이 지식을 위해 있어야 하지만, 난해한 지식을 갖고 있지는 않아요.

Dwarkesh Patel 01:02:48

우리는 인지 핵심이 뭘 수 있는지에 대해 논의하고 있어요. 프론티어 모델의 크기가 시간이 지남에 따라 어떻게 될지에 대한 별도의 질문이 있어요. 저는 예측을 갖고 계신지 궁금해요. GPT 4.5까지 규모가 증가했다가 이제 규모가 감소하거나 정체되는 걸 보고 있어요. 이게 진행되고 있는 많은 이유들이 있을 수 있어요. 앞으로 예측이 있으세요? 가장 큰 모델들이 더 커질까요, 더 작아질까요, 같을까요?

Andrej Karpathy 01:03:14

매우 강한 예측은 없어요. 연구소들은 그냥 실용적이에요. 플롭 예산과 비용 예산을 갖고 있어요. 사전 훈련이 대부분의 플롭이나 비용을 넣고 싶은 곳이 아니라는 게 밝혀졌어요. 그게 모델들이 더 작아진 이유예요. 약간 더 작지만, 사전 훈련 단계는 더 작지만, 강화학습, 중간 훈련, 그리고 뒤따르는 이 모든 것들에서 그걸 보충해요. 그들은 그냥 모든 단계와 어떻게 최대의 효과를 얻을 수 있는지에 대해 실용적이에요.

그 추세를 예측하는 건 꽤 어려워요. 저는 여전히 낮은 과일이 너무 많이 있다고 예상해요. 그게 제 기본 기대예요. 여기서 저는 매우 넓은 분포를 갖고 있어요.

Dwarkesh Patel 01:03:51

낮은 과일이 지난 2~5년 동안 일어나고 있던 것들의 종류와 유사할 거로 예상하세요? nanochat 대 nanoGPT와 당신이 만든 아키텍처 조정들을 보면, 그게 계속 일어날 거로 예상하시는 것들의 맛인가요? 거대한 패러다임 전환을 예상하지 않으세요.

Andrej Karpathy 01:04:11

대부분은, 네. 데이터셋이 훨씬, 훨씬 더 나아질 거로 예상해요. 평균 데이터셋들을 보면, 극도로 끔찍해요. 너무 나빠서 어떻게 어떤 게 작동하는지 전혀 모르겠어요. 훈련 세트의 평균 예제를 보세요: 사실적 실수들, 오류들, 말도 안 되는 것들. 어떻게든 규모에서 하면, 노이즈가 씻겨나가고 일부 신호만 남아요. 데이터셋이 엄청나게 개선될 거예요.

모든 게 나아져요. 우리의 하드웨어, 하드웨어를 실행하고 하드웨어로 얻는 걸 최대화하기 위한 모든 커널들. Nvidia는 천천히 하드웨어 자체를 조정하고 있어요, Tensor Core들, 그 모든 게 일어나야 하고 계속 일어날 거예요. 모든 커널들이 더 나아지고 칩을 최대한으로 활용할 거예요. 모든 알고리듬들은 아마도 최적화, 아키텍처, 그리고 모든 게 어떻게 이루어지는지와 우리가 훈련하고 있는 알고리듬들이 뭔지에 대한 모든 모델링 구성 요소들에서 개선될 거예요. 저는 아무것도 지배하지 않을 거로 예상해요. 모든 것 플러스 20%. 이건 대략 제가 본 거예요.

01:06:25 – AGI는 2% GDP 성장에 포함될 거예요.

Dwarkesh Patel 01:06:25

사람들은 우리가 완전한 AGI로 가는 데 얼마나 진보했는지를 차트로 만드는 다양한 방법들을 제안했어요. 어떤 선을 만들 수 있다면, 그 선이 AGI와 교차하는 곳과 x축에서 그게 어디서 일어날지 볼 수 있어요. 사람들은 그게 교육 수준이라고 제안했어요. 우리는 고등학생을 가졌고, 그런 다음 RL로 대학에 갔고, 박사 학위를 받을 거예요.

Andrej Karpathy 01:06:44

저는 그걸 좋아하지 않아요.

Dwarkesh Patel 01:06:45

또는 그들은 지평선 길이를 제안할 거예요. 아마도 그들은 1분이 걸리는 작업들을 할 수 있고, 자율적으로 할 수 있어요. 그런 다음 인간에게 1시간이 걸리는 작업들, 인간에게 1주일이 걸리는 작업들을 자율적으로 할 수 있고요. 여기서 관련된 y축에 대해 어떻게 생각하세요? AI가 어떻게 진보하고 있는지에 대해 어떻게 생각해야 할까요?

Andrej Karpathy 01:07:05

거기에 두 가지 답이 있어요. 첫째, 저는 거의 질문 자체를 거부하고 싶어요. 왜냐하면 저는 이걸 컴퓨팅의 확장으로 보기 때문이에요. 우리는 컴퓨팅에서 어떻게 진보를 차트로 만드는지에 대해 이야기했나요, 또는 1970년대 이후로 컴퓨팅에서 진보를 어떻게 차트로 만드나요? y축이 뭔가요? 그 관점에서 전체 질문이 좀 우스운 면이 있어요.

사람들이 AI와 원래 AGI, 그리고 OpenAI가 시작했을 때 우리가 그것에 대해 어떻게 이야기했는지에 대해 이야기할 때, AGI는 인간의 성능이나 그 이상으로 경제적으로 가치 있는 모든 작업을 수행할 수 있는 시스템이었어요. 그게 정의였어요. 저는 당시에 그것에 꽤 만족했고, 영원히 그 정의를 고수해 왔어요. 그런 다음 사람들은 온갖 다른 정의들을 만들어냈어요. 하지만 저는 그 정의를 좋아해요.

사람들이 항상 만드는 첫 번째 양보는 그냥 모든 물리적인 것들을 빼는 거예요. 왜냐하면 우리는 그냥 디지털 지식 노동에 대해 이야기하고 있기 때문이에요. 그건 원래 정의에 비해 꽤 주요한 양보예요. 원래 정의는 인간이 할 수 있는 모든 작업이었어요. 저는 물건을 들어올릴 수 있어요, 등등. AI는 그걸 할 수 없어요, 명백히, 하지만 받아들이겠어요. "오, 지식 노동만"이라고 말함으로써 우리가 경제의 얼마나 많은 부분을 빼고 있나요? 숫자를 몰라요. 제 느낌은 약 10%에서 20%, 만약 추측해야 한다면, 지식 노동만, 누군가 집에서 일하고 작업을 수행할 수 있고, 그런 거예요. 여전히 정말 큰 시장이에요. 경제의 규모가 얼마이고, 10%나 20%가 뭔가요? 우리는 여전히 몇 조 달러에 대해 이야기하고 있어요, 미국에서만도, 시장 점유율이나 작업의. 그래서 여전히 매우 거대한 범주예요.

정의로 돌아가서, 제가 찾고 있는 건 그 정의가 얼마나 사실인지예요. 일자리가 있나요 아니면 많은 작업들이 있나요? 작업을 일자리가 아니라 작업으로 생각한다면. 어려워요. 왜냐하면 문제는 사회가 자동화 가능한 것이나 그렇지 않은 것에 기반해서 일자리를 구성하는 작업들에 기반해서 리팩토링할 거기 때문이에요. 오늘날, AI로 대체 가능한 일자리들은 뭔가요? 최근의 좋은 예는 Geoff Hinton의 예측이었어요. 방사선 전문의가 더 이상 일자리가 되지 않을 거라는 건데, 이건 많은 방식에서 매우 틀린 걸로 밝혀졌어요. 방사선 전문의들은 살아 있고 건재하며 성장하고 있어요. 컴퓨터 비전이 이미지에서 그들이 인식해야 하는 모든 다른 것들을 인식하는 데 정말, 정말 좋은데도요. 그건 그냥 환자를 다루고 이 모든 것의 맥락에서 많은 표면이 있는 복잡한 일자리예요.

그 정의로는 AI가 아직 큰 영향을 미쳤다고 생각하지 않아요. 제가 찾고 있을 일자리들 중 일부는 다른 것들보다 더 일찍 자동화에 매우 적합하게 만드는 일부 특징들을 갖고 있어요. 예를 들어, 콜센터 직원들이 종종 나타나고, 저는 옳다고 생각해요. 콜센터 직원들은 오늘날 자동화 가능한 것에 대해 많은 단순화 속성들을 갖고 있어요. 그들의 일자리는 꽤 간단해요. 작업들의 시퀀스이고, 모든 작업이 비슷하게 보여요. 사람과 전화 통화를 받고, 10분 동안의 상호작용이에요, 아니면 뭐든, 아마도 좀 더 길 거예요. 제 경험상, 훨씬 더 길지만요. 어떤 체계에서 어떤 작업을 완료하고, 어떤 데이터베이스 항목들을 변경하거나 그런 거예요. 그래서 계속해서 뭔가를 반복하고, 그게 당신의 일자리예요.

작업 지평선—작업을 수행하는 데 얼마나 걸리는지—을 가져오고 싶고, 그런 다음 맥락을 제거하고 싶어요. 회사의 서비스나 다른 고객들의 다른 부분들을 다루고 있지 않아요. 그냥 데이터베이스, 당신, 그리고 당신이 서비스하고 있는 사람이에요. 더 폐쇄적이고, 더 이해 가능하고, 순수하게 디지털이에요. 그래서 저는 그런 것들을 찾고 있을 거예요.

하지만 거기서도, 저는 아직 완전한 자동화를 찾고 있지 않아요. 자율성 슬라이더를 찾고 있어요. 우리가 사람들을 즉시 대체하지 않을 거로 예상해요. 부피의 80%를 수행하는 AI를 교체할 거예요. 그들은 부피의 20%를 인간에게 위임하고, 인간들은 더 정형화된 콜센터 작업을 하는 5개의 AI 팀을 감독하고 있어요. 저는 이런 AI들 중 일부를 관리할 수 있게 해주는 계층을 제공하는 새로운 인터페이스나 새로운 회사들을 찾고 있을 거예요. 그것들은 아직 완벽하지 않아요. 그런 다음 경제 전체에 걸쳐 그걸 예상할 거예요. 많은 일자리들이 콜센터 직원보다 훨씬 더 어려워요.

Dwarkesh Patel 01:11:02

방사선 전문의에 대해서, 저는 완전히 추측하고 있고 방사선 전문의의 실제 작업 흐름이 뭘 포함하는지 전혀 몰라요. 하지만 적용 가능할 수도 있는 한 가지 비유는 Waymo가 처음 배포되었을 때, 앞좌석에 사람이 앉아 있고, 뭔가 정말 잘못되면 거기 있어야 했어요. 오늘날에도, 사람들은 여전히 일이 잘 진행되고 있는지 확인하기 위해 지켜보고 있어요. 막 배포된 로보택시도 여전히 그 안에 사람이 있고요.

이제 우리는 일자리의 99%를 자동화하더라도, 인간이 해야 하는 마지막 1%가 다른 모든 것의 병목이 되기 때문에 엄청나게 가치가 있는 유사한 상황에 있을 수 있어요. 방사선 전문의의 경우라면, Waymo 앞에 앉아 있는 사람이 그 마지막 1%를 제공하기 위해 몇 년 동안 특별히 훈련받아야 한다면, 그들의 임금은 엄청나게 올라가야 해요. 왜냐하면 그들이 광범위한 배포를 병목하는 유일한 것이기 때문이에요. 방사선 전문의들, 제 생각에 유사한 이유로 그들의 임금이 올라갔어요, 만약 당신이 마지막 병목이고 대체 가능하지 않다면. Waymo 운전자는 다른 사람들과 대체 가능할 수도 있어요. 그래서 당신은 99%에 도달할 때까지 임금이 올라가고 그런 다음 마지막 1%가 사라지면 그렇게 떨어지는 이런 걸 볼 수 있어요. 그리고 방사선과나 콜센터 직원들의 급여나 그런 것들과 유사한 것들을 보고 있는지 궁금해요.

Andrej Karpathy 01:12:17

흥미로운 질문이에요. 방사선과에서 현재 그걸 보고 있다고 생각하지 않아요. 방사선과가 좋은 예라고 생각하지 않아요. Geoff Hinton이 왜 방사선과를 선택했는지 모르겠어요. 왜냐하면 그건 극도로 복잡한 직업이라고 생각하기 때문이에요.

저는 예를 들어 오늘날 콜센터 직원들에게 무슨 일이 일어나고 있는지에 대해 훨씬 더 관심이 있을 거예요. 왜냐하면 정형화된 것의 많은 부분이 오늘날 자동화 가능할 거로 예상하기 때문이에요. 그것에 대한 1차 접근은 없지만 콜센터 직원들에게 무슨 일이 일어나고 있는지의 추세를 찾고 있을 거예요. 제가 또한 예상할 일부 것들은 아마도 그들이 AI를 교체하고 있지만, 그런 다음 저는 여전히 1년이나 2년을 기다릴 거예요. 왜냐하면 잠재적으로 그들이 철수하고 일부 사람들을 재고용할 거로 예상하기 때문이에요.

Dwarkesh Patel 01:13:00

AI를 채택해 온 회사들에서 일반적으로 이미 일어나고 있다는 증거가 있었어요. 제 생각에는 꽤 놀라워요.

제가 또한 정말 놀라웠던 걸 발견했어요. AGI, 맞죠? 모든 걸 할 거예요. 물리적 작업을 빼겠지만, 모든 지식 노동을 할 수 있어야 해요. 순진하게 예상했을 건 이 진행이 일어나는 방식이 컨설턴트가 하고 있는 작은 작업을 가져와서, 그걸 범주에서 빼는 거였어요. 회계사가 하고 있는 작은 작업을 가져와서, 그걸 범주에서 빼는 거죠. 그런 다음 모든 지식 노동에 걸쳐 그걸 하고 있고요.

하지만 대신, 현재 패러다임으로 AGI로 가는 길에 있다고 믿는다면, 진행은 전혀 그렇지 않아요. 컨설턴트와 회계사들이 엄청난 생산성 향상을 얻고 있는 것처럼 보이지 않아요. 프로그래머들이 그들의 작업에서 점점 더 깎여나가는 것과 매우 비슷해요. 이 회사들의 수익을 보면, 일반적인 채팅 수익을 할인하면—그건 Google 같은 것과 비슷해요—API 수익만 보면, 코딩이 지배해요. 그래서 모든 지식 노동을 할 수 있어야 하는 이 "일반적인" 것이 압도적으로 코딩만 하고 있어요. AGI가 배포될 거로 예상하는 놀라운 방식이에요.

Andrej Karpathy 01:14:13

여기 흥미로운 점이 있어요. 코딩이 이 LLM과 에이전트들에게 완벽한 첫 번째 것이라고 믿어요. 왜냐하면 코딩은 항상 근본적으로 텍스트 주위에서 작동했기 때문이에요. 컴퓨터 터미널과 텍스트이고, 모든 게 텍스트를 기반으로 해요. LLM은 인터넷에서 훈련되는 방식으로 텍스트를 좋아해요. 완벽한 텍스트 프로세서이고, 거기에 이 모든 데이터가 있어요. 완벽한 적합이에요.

우리는 또한 코드와 텍스트를 처리하기 위해 미리 구축된 많은 인프라를 갖고 있어요. 예를 들어, Visual Studio Code나 당신이 좋아하는 IDE가 코드를 보여주고, 에이전트가 그것에 연결할 수 있어요. 에이전트가 어떤 변경을 한 diff가 있다면, 우리는 갑자기 diff를 사용해서 코드베이스의 모든 차이점을 보여주는 이 모든 코드를 이미 갖고 있어요. 우리가 코드를 위한 많은 인프라를 미리 구축한 것 같아요.

그걸 전혀 즐기지 못하는 것들과 대조해 보세요. 예를 들어, 코딩이 아니라 슬라이드에 대한 자동화를 구축하려는 사람들이 있어요. 슬라이드를 하는 회사를 봤어요. 그건 훨씬, 훨씬 더 어려워요. 더 어려운 이유는 슬라이드가 텍스트가 아니기 때문이에요. 슬라이드는 작은 그래픽들이고, 공간적으로 배열되고, 시각적 구성 요소가 있어요. 슬라이드는 이 미리 구축된 인프라를 갖고 있지 않아요. 예를 들어, 에이전트가 슬라이드를 변경한다면, 어떻게 diff를 보여주나요? diff를 어떻게 보나요? 슬라이드에 대한 diff를 보여주는 게 없어요. 누군가 그걸 만들어야 해요. 이런 것들 중 일부는 텍스트 프로세서인 AI에 적합하지 않고, 코드는 놀랍게도 그래요.

Dwarkesh Patel 01:15:48

그것만으로는 설명하지 못한다고 확신하지 못해요. 저는 개인적으로 순수한 언어 입력, 언어 출력인 도메인에서 LLM이 유용하도록 하려고 노력했어요, 녹취록 다시 쓰기, 녹취록을 기반으로 클립 만들기 같은 것들요. 제가 할 수 있는 모든 가능한 걸 하지 않았을 가능성이 매우 높아요. 많은 좋은 예제를 맥락에 넣었지만, 아마도 어떤 종류의 미세 조정을 해야 했을 거예요.

우리의 공통 친구, Andy Matuschak이 모델이 간격 반복 프롬프트를 작성하는 데 잘하도록 하기 위해 500억 가지를 시도했다고 말했어요. 다시 말하지만, 매우 언어 입력, 언어 출력 작업이고, 이런 LLM의 레퍼토리의 정중앙에 있어야 하는 종류의 거예요. 그는 few shot 예제와 함께 문맥 내 학습을 시도했어요. 지도 미세 조정과 검색을 시도했고요. 그는 그가 만족할 만한 카드를 만들도록 할 수 없었어요.

그래서 언어 출력 도메인에서도, 코딩과 별개로 이 모델들에서 많은 경제적 가치를 얻기가 매우 어렵다는 게 인상적이에요. 그걸 설명하는 게 뭔지 모르겠어요.

Andrej Karpathy 01:16:57

그건 말이 돼요. 텍스트인 모든 게 사소하다고 말하는 게 아니에요. 코드가 꽤 구조화되어 있다고 생각해요. 텍스트는 아마도 훨씬 더 화려하고, 텍스트에 훨씬 더 많은 엔트로피가 있다고 말하고 싶어요. 달리 표현하는 방법을 모르겠어요. 또한 코드는 어렵고, 그래서 사람들은 간단한 지식으로부터도 LLM에 의해 꽤 권한을 부여받았다고 느껴요. 매우 좋은 답을 갖고 있다고 생각하지 않아요. 명백히, 텍스트가 그걸 훨씬, 훨씬 더 쉽게 만들지만, 모든 텍스트가 사소하다는 걸 의미하지는 않아요.

01:17:36 – ASI(초인공지능)

Dwarkesh Patel 01:17:36

초지능에 대해 어떻게 생각하세요? 일반 인간이나 인간 회사들과 질적으로 다르게 느껴질 거로 예상하세요?

Andrej Karpathy 01:17:45

사회에서 자동화의 진행으로 봐요. 컴퓨팅의 추세를 외삽하면, 많은 것들의 점진적인 자동화가 있을 거고, 초지능은 그것의 외삽이 될 거예요. 시간이 지남에 따라 점점 더 많은 자율적인 존재들이 많은 디지털 작업을 하고 그런 다음 나중에 얼마간의 시간 후에 심지어 물리적 작업까지 할 거로 예상해요. 기본적으로 저는 그걸 그냥 자동화로 봐요, 대략적으로 말하면요.

Dwarkesh Patel 01:18:10

하지만 자동화는 인간이 이미 할 수 있는 것들을 포함하고, 초지능은 인간이 할 수 없는 것들을 의미해요.

Andrej Karpathy 01:18:16

하지만 사람들이 하는 것들 중 하나는 새로운 것들을 발명하는 거고, 그게 말이 된다면 저는 그걸 자동화에 포함시킬 거예요.

Dwarkesh Patel 01:18:20

하지만 덜 추상적이고 더 질적으로, 뭔가가... 왜냐하면 이건 너무 빨리 생각할 수 있거나, 또는 너무 많은 복사본을 갖고 있거나, 또는 복사본들이 자신들로 다시 합쳐질 수 있거나, 또는 훨씬 더 똑똑하거나, AI가 가질 수 있는 많은 이점들 중 어떤 것이든, 이런 AI들이 존재하는 문명은 인간과 질적으로 다르게 느껴질까요?

Andrej Karpathy 01:18:51

그럴 거라고 생각해요. 근본적으로 자동화이지만, 극도로 낯설 거예요. 정말 이상하게 보일 거예요. 당신이 언급했듯이, 우리는 컴퓨터 클러스터에서 이 모든 걸 실행할 수 있고 훨씬 더 빠르게 할 수 있어요.

세상이 그렇게 보일 때 제가 걱정하기 시작하는 시나리오들 중 일부는 무슨 일이 일어나고 있는지에 대한 통제와 이해의 점진적인 상실이에요. 저는 이해의 점진적인 상실이 가장 가능성 있는 결과라고 생각해요. 우리는 점진적으로 모든 곳에 이 모든 것들을 층층이 쌓을 거고, 그걸 이해하는 사람들이 점점 더 적어질 거예요. 그런 다음 무슨 일이 일어나고 있는지에 대한 통제와 이해의 점진적인 상실이 있을 거예요. 그게 저에게는 이 모든 게 어떻게 진행될지의 가장 가능성 있는 결과처럼 보여요.

Dwarkesh Patel 01:19:31

그것에 대해 좀 더 파고들게요. 통제의 상실과 이해의 상실이 같은 건지 명확하지 않아요. TSMC, Intel의 이사회—임의의 회사 이름—그들은 그냥 명망 있는 80세들이에요. 그들은 이해가 거의 없고, 아마도 실제로 실질적으로 통제를 갖고 있지 않아요.

더 나은 예는 미국 대통령이에요. 대통령은 많은 권력을 갖고 있어요. 저는 현재 재임자에 대해 좋은 진술을 하려는 게 아니에요, 아니면 그럴 수도 있지만, 실제 이해의 수준은 통제의 수준과 매우 달라요.

Andrej Karpathy 01:20:06

그건 공정해요. 좋은 반박이에요. 저는 둘 다의 상실을 예상한다고 생각해요.

Dwarkesh Patel 01:20:15

어떻게요? 이해의 상실은 명백하지만, 왜 통제의 상실인가요?

Andrej Karpathy 01:20:20

우리는 이게 어떻게 보이는지 모르는 영역에 정말로 깊이 들어가 있지만, 제가 공상 과학 소설을 쓴다면, 모든 걸 장악하는 단일 존재조차도 아니지만, 점진적으로 더욱 더 자율적이 되는 여러 경쟁하는 존재들의 방향을 따를 거예요. 그들 중 일부는 불량배가 되고 다른 것들이 그들을 물리쳐요. 우리가 위임한 완전히 자율적인 활동의 이 핫팟이에요. 저는 그런 맛을 가질 거라고 느껴요.

Dwarkesh Patel 01:20:52

그들이 우리보다 더 똑똑하다는 사실이 통제의 상실을 초래하는 게 아니에요. 그들이 서로 경쟁하고 있다는 사실이고, 그 경쟁에서 나오는 게 뭐든 통제의 상실로 이어져요.

Andrej Karpathy 01:21:06

네. 이런 것들의 많은 부분, 그들은 사람들에게 도구가 될 거고, 사람들을 대신해서 행동하고 있거나 그런 거예요. 그래서 아마도 그 사람들은 통제하고 있지만, 아마도 우리가 원하는 결과라는 의미에서 사회 전체적으로는 통제의 상실일 거예요. 여전히 대략 통제 불능으로 보이는 개인들을 대신해서 행동하는 존재들을 갖고 있어요.

Dwarkesh Patel 01:21:30

이건 제가 더 일찍 물었어야 했던 질문이에요. 현재 AI 엔지니어링이나 AI 연구를 할 때 이 모델들이 대체라기보다는 컴파일러의 범주에 더 있다고 느끼는 것에 대해 이야기하고 있었어요.

어느 시점에, AGI를 갖고 있다면, 당신이 하는 일을 할 수 있어야 해요. 병렬로 당신의 백만 개의 복사본을 갖는 게 AI 진보의 엄청난 가속화를 초래한다고 느끼세요? 만약 그게 일어난다면, 진정한 AGI를 갖게 되면 지능 폭발을 볼 거로 예상하세요? 저는 오늘날의 LLM에 대해 이야기하고 있는 게 아니에요.

Andrej Karpathy 01:22:01

그렇습니다, 하지만 그건 평소와 다름없는 일이에요. 왜냐하면 우리는 이미 지능 폭발 속에 있고 수십 년 동안 그래왔기 때문이에요. 기본적으로 산업의 너무나 많은 측면들에 대한 지수 가중합인 GDP 곡선이에요. 모든 게 점진적으로 자동화되고 있고 수백 년 동안 그래왔어요. 산업혁명은 물리적 구성 요소와 도구 제작 등의 일부에서 자동화예요. 컴파일러는 초기 소프트웨어 자동화예요, 등등. 우리는 오랫동안 재귀적으로 자기 개선하고 폭발하고 있었어요.

그걸 보는 또 다른 방법은 지구가 생물역학 등을 보지 않는다면 꽤 지루한 곳이었고, 매우 비슷하게 보였다는 거예요. 우주에서 보면, 우리는 이 폭죽 이벤트의 한가운데 있지만, 우리는 그걸 슬로우 모션으로 보고 있어요. 저는 확실히 이게 이미 오랫동안 일어나고 있었다고 느껴요. 다시 말하지만, 저는 AI를 이미 오랫동안 일어나고 있던 것과 구별되는 기술로 보지 않아요.

Dwarkesh Patel 01:23:00

이 초지수 추세와 연속적이라고 생각하세요?

Andrej Karpathy 01:23:03

네. 그게 저에게 매우 흥미로웠어요. 왜냐하면 저는 한동안 GDP에서 AI를 찾으려고 노력했기 때문이에요. GDP가 올라가야 한다고 생각했어요. 하지만 매우 변혁적이라고 생각했던 다른 기술들, 컴퓨터나 휴대전화 등을 봤어요. GDP에서 그것들을 찾을 수 없어요. GDP는 같은 지수예요.

심지어 초기 iPhone도 앱스토어가 없었고, 현대 iPhone이 가진 많은 장식들이 없었어요. 그래서 iPhone이 나온 2008년을 이 주요 지각 변동으로 생각하더라도, 실제로는 그렇지 않아요. 모든 게 너무 퍼져 있고 천천히 확산돼서 모든 게 결국 같은 지수로 평균화돼요. 컴퓨터도 정확히 같아요. GDP에서 그것들을 "오, 이제 컴퓨터가 있다"처럼 찾을 수 없어요. 그런 일은 일어나지 않았어요. 왜냐하면 너무 천천히 진행되기 때문이에요.

AI에서도 정확히 같은 걸 볼 거예요. 그냥 더 많은 자동화예요. 우리가 이전에 쓸 수 없었던 다른 종류의 프로그램들을 쓸 수 있게 해 줘요. 하지만 AI는 여전히 근본적으로 프로그램이에요. 새로운 종류의 컴퓨터이고 새로운 종류의 컴퓨팅 시스템이에요. 하지만 이 모든 문제들을 갖고 있고, 시간이 지남에 따라 확산될 거고, 여전히 같은 지수로 더해질 거예요. 우리는 여전히 극도로 수직적이 될 지수를 가질 거예요. 그런 종류의 환경에서 사는 건 매우 낯설 거예요.

Dwarkesh Patel 01:24:10

산업혁명 이전부터 지금까지의 추세를 본다면, 0% 성장에서 1만 년 전에 0.02% 성장, 그리고 지금 2% 성장으로 가는 초지수를 갖고 있다고 말씀하시는 건가요? 그게 초지수예요. AI를 거기에 차트로 만들면, AI가 당신을 20% 성장이나 200% 성장으로 데려간다고 말씀하시는 건가요?

아니면 지난 300년을 보면, 기술 하나하나—컴퓨터, 전기화, 증기 기관, 철도 등—를 본 것이지만 성장률은 정확히 같고, 2%라고 말씀하시는 건가요? 성장률이 올라갈 거라고 말씀하시는 건가요?

Andrej Karpathy 01:24:46

성장률도 대략 일정하게 유지되었죠, 그렇죠?

Dwarkesh Patel 01:24:49

지난 200~300년 동안만요. 하지만 인류 역사의 과정에서 폭발했어요. 0%에서 더 빠르게, 더 빠르게, 더 빠르게로 갔어요. 산업 폭발, 2%.

Andrej Karpathy 01:25:01

한동안 저는 GDP 곡선에서 AI를 찾거나 AI를 찾으려고 노력했고, 이게 거짓이라고 스스로를 설득했어요. 사람들이 재귀적 자기 개선과 연구소 등에 대해 이야기할 때조차도, 이건 평소와 다름없는 일이에요. 물론 재귀적으로 자기 개선할 거고, 재귀적으로 자기 개선해 왔어요.

LLM은 엔지니어들이 다음 라운드의 LLM을 구축하기 위해 훨씬 더 효율적으로 작업할 수 있게 해 주고, 구성 요소들 중 훨씬 더 많은 것들이 자동화되고 조정되고 있어요. Google 검색에 접근할 수 있는 모든 엔지니어들도 그것의 일부예요. IDE를 가진 모든 엔지니어들, 자동 완성을 가진 모든 엔지니어들이나 Claude 코드를 가진 모든 엔지니어들, 등등, 모두 전체의 같은 가속화의 일부예요. 너무 매끄러워요.

Dwarkesh Patel 01:25:41

명확히 하자면, 성장률이 변하지 않을 거라고 말씀하시는 거군요. 지능 폭발은 인터넷이 2% 성장 궤적에 머물도록 도와준 것처럼, 그냥 우리가 2% 성장 궤적에 계속 머물 수 있게 해 주는 것으로 나타날 거예요.

Andrej Karpathy 01:25:53

네, 제 기대는 같은 패턴에 머문다는 거예요.

Dwarkesh Patel 01:25:58

반대 논증을 제시하자면, 제 기대는 폭발할 거라는 거예요. 왜냐하면 진정한 AGI—그리고 저는 LLM 코딩 봇에 대해 이야기하는 게 아니라, 서버에서 인간의 실제 대체에 대해 이야기하고 있어요—는 이런 다른 생산성 향상 기술들과 질적으로 다르다고 생각하기 때문이에요. 왜냐하면 그건 노동 자체이기 때문이에요.

우리는 매우 노동 제약적인 세상에 살고 있다고 생각해요. 스타트업 창업자나 누구에게든 이야기하면, 뭐가 더 필요하냐고 물으면, 정말 재능 있는 사람들이 필요해요. 물건을 발명하고, 통합하고, 처음부터 끝까지 회사를 만드는 수십억 명의 추가 사람들이 있다면, 그건 단일 기술과 질적으로 다르게 느껴져요. 마치 지구에 100억 명의 추가 사람들을 얻는 것과 같아요.

Andrej Karpathy 01:26:44

아마도 반론이에요. 저는 이 점에 대해 한 방향이나 다른 방향으로 설득될 의향이 꽤 있어요. 하지만 예를 들어, 컴퓨팅은 노동이에요. 컴퓨팅은 노동이었어요. 컴퓨터, 많은 일자리들이 사라졌어요. 왜냐하면 컴퓨터가 이제 인간이 필요하지 않은 많은 디지털 정보 처리를 자동화하고 있기 때문이에요. 그래서 컴퓨터는 노동이고, 그게 펼쳐졌어요.

예를 들어 자율 주행도 컴퓨터가 노동을 하는 거예요. 그것도 이미 펼쳐지고 있어요. 여전히 평소와 다름없는 일이에요.

Dwarkesh Patel 01:27:13

잠재적으로 더 빠른 속도로 그런 것들을 더 많이 배출하는 기계가 있어요. 역사적으로, 0.2% 성장에서 2% 성장으로 간 성장 체제가 변화한 예들이 있어요. 다음 자율 주행 자동차와 다음 인터넷과 뭐든... 그것들을 배출하는 기계는 매우 그럴듯해 보여요...

Andrej Karpathy 01:27:33

어디서 오는지 알겠어요. 동시에, 사람들이 "우리는 상자 안에 신을 갖고 있고, 이제 모든 걸 할 수 있다"는 가정을 한다고 느끼는데, 그렇게 보이지 않을 거예요. 일부 것들을 할 수 있을 거예요. 다른 일부 것들에서는 실패할 거예요. 점진적으로 사회에 넣을 거고, 결국 같은 패턴으로 끝날 거예요. 그게 제 예측이에요.

완전히 지능적이고, 완전히 유연하고, 완전히 일반적인 인간을 상자 안에 갑자기 갖고 있고, 사회의 임의의 문제들에 그걸 배분할 수 있다는 이 가정은, 우리가 이런 불연속적인 변화를 가질 거라고 생각하지 않아요. 산업 전체에 걸쳐 이것의 같은 종류의 점진적인 확산에 도달할 거라고 생각해요.

Dwarkesh Patel 01:28:14

이런 대화에서 종종 오해를 일으키게 돼요. 이 맥락에서 지능이라는 단어를 사용하는 걸 좋아하지 않아요. 왜냐하면 지능은 서버에 앉아 있는 단일 초지능이 있고 그게 이 폭발을 일으키는 새로운 기술과 발명품들을 어떻게 나올지 신성하게 알아낼 거라는 걸 암시하기 때문이에요. 제가 20% 성장을 상상할 때 상상하는 게 그게 아니에요. 수억 개의 매우 똑똑한 인간 같은 마음들, 잠재적으로, 또는 그게 필요한 전부라고 상상해요.

하지만 그들 중 수억, 수십억 개가 있다는 사실, 각자 개별적으로 새로운 제품을 만들고, 경제에 스스로를 통합하는 방법을 찾아내는 거예요. 고도로 경험 있는 똑똑한 이민자가 나라에 왔다면, 경제에 어떻게 통합할지 알아낼 필요가 없을 거예요. 그들이 알아낼 거예요. 회사를 시작할 수도 있고, 발명을 할 수도 있고, 세상의 생산성을 높일 수도 있어요.

현재 체제에서도, 10-20%의 경제 성장을 가진 곳들의 예가 있어요. 많은 사람들이 있고 사람들에 비해 자본이 더 적다면, 10% 이상의 성장으로 수십 년 동안 홍콩이나 심천이나 뭐든 가질 수 있어요. 자원을 활용하고 이 따라잡기 기간을 할 준비가 된 정말 똑똑한 사람들이 많이 있어요. 왜냐하면 우리가 이 불연속성을 가졌기 때문이고, AI도 비슷할 수 있다고 생각해요.

Andrej Karpathy 01:29:33

이해하지만, 여전히 어떤 불연속적인 도약을 전제하고 있다고 생각해요. 우리가 주장하기를 기다리고 있는 어떤 잠금 해제가 있어요. 갑자기 데이터 센터에 천재들을 가질 거예요. 여전히 제가 어떤 통계에서도 찾을 수 없는 역사적 선례가 없는 어떤 불연속적인 도약을 전제하고 있다고 생각하고, 아마도 일어나지 않을 거라고 생각해요.

Dwarkesh Patel 01:29:52

제 말은, 산업혁명이 그런 도약이에요. 0.2% 성장에서 2% 성장으로 갔어요. 저는 그냥 그것처럼 또 다른 도약을 볼 거라고 말하고 있어요.

Andrej Karpathy 01:30:00

저는 약간 의심스러워요. 살펴봐야 할 것 같아요. 예를 들어, 산업혁명 이전의 일부 기록들은 그다지 좋지 않아요. 저는 그것에 대해 약간 의심스럽지만 강한 의견은 없어요. 당신은 이게 극도로 마법 같았던 단일 이벤트였다고 말하고 있어요. 당신은 아마도 그것과 똑같을 또 다른 이벤트가 있을 거고, 극도로 마법 같을 거라고 말하고 있고요. 패러다임을 깨뜨릴 거고, 등등.

Dwarkesh Patel 01:30:23

저는 실제로... 산업혁명에서 결정적인 건 그게 마법 같지 않았다는 거예요. 단지 확대했다면, 1770년이나 1870년에 볼 건 어떤 핵심 발명이 있었던 게 아니에요. 하지만 동시에, 진보가 훨씬 더 빨랐고 지수가 10배가 된 체제로 경제를 이동시켰어요. 저는 AI에서도 유사한 걸 예상해요. 결정적인 발명을 한 단일 순간이 있을 것 같지는 않아요.

Andrej Karpathy 01:30:51

잠금 해제되고 있는 초과 공급이에요. 새로운 에너지원 같은 거예요. 어떤 잠금 해제가 있어요—이 경우, 어떤 종류의 인지 능력—그리고 할 인지 작업의 초과 공급이 있어요.

Dwarkesh Patel 01:31:02

맞아요.

Andrej Karpathy 01:31:03

당신은 그 초과 공급이 임계값을 넘을 때 이 새로운 기술로 채워질 거로 예상하고 있어요.

Dwarkesh Patel 01:31:06

아마도 그것에 대해 생각하는 한 가지 방법은 역사를 통틀어, 많은 성장이 사람들이 아이디어를 생각해내고, 그런 다음 사람들이 그 아이디어를 실행하고 가치 있는 산출물을 만들기 위해 뭔가를 하고 있기 때문에 나온다는 거예요. 이 시간의 대부분 동안, 인구가 폭발하고 있었어요. 그게 성장을 이끌고 있었고요.

지난 50년 동안, 사람들은 성장이 정체되었다고 주장했어요. 선진 국가들의 인구도 정체되었고요. 저는 산출물의 초지수 성장을 일으키는 인구의 지수 성장으로 돌아간다고 생각해요.

Andrej Karpathy 01:31:37

말하기 정말 어려워요. 그 관점을 이해해요. 직관적으로 그 관점을 느끼지 않아요.

01:32:50 – 지능과 문화의 진화

Dwarkesh Patel 01:32:50

Nick Lane의 책을 추천해 주셨어요. 그걸 바탕으로, 저도 매우 흥미롭게 생각했고 그를 인터뷰했어요. 지능과 진화 역사에 대해 생각하는 것에 대한 몇 가지 질문이 있어요.

이제 당신이 지난 20년 동안 AI 연구를 해서, 지능이 뭔지, 그걸 개발하는 데 뭐가 필요한지에 대해 더 구체적인 감각을 갖고 계실 텐데요. 그 결과로 진화가 그냥 자발적으로 그것에 부딪혔다는 것에 대해 더 놀라우세요 덜 놀라우세요?

Andrej Karpathy 01:33:19

저는 Nick Lane의 책들을 정말 좋아해요. 여기 오는 길에 그의 팟캐스트를 듣고 있었어요. 지능과 그것의 진화에 대해서, 그건 매우, 매우 최근이에요. 저는 그게 진화했다는 게 놀라워요.

거기에 있는 모든 세상들에 대해 생각하는 게 매우 매혹적이에요. 지구 같은 행성이 천 개 있다고 하고 그것들이 어떻게 보이는지요. Nick Lane이 여기 와서 가장 초기 부분들 중 일부에 대해 이야기했어요. 그는 매우 유사한 생명체들을 예상해요, 대략적으로 말하면, 그리고 그들 중 대부분에 박테리아 같은 것들을요. 거기에 몇 가지 단절이 있어요. 지능의 진화는 직관적으로 저에게 꽤 드문 이벤트여야 할 것처럼 느껴져요.

아마도 뭔가가 얼마나 오래 존재했는지를 기반으로 해야 할 거예요. 박테리아가 20억 년 동안 있었고 아무 일도 일어나지 않았다면, 진핵생물로 가는 건 아마도 꽤 어려울 거예요. 왜냐하면 박테리아는 지구의 진화나 역사 초기에 꽤 나타났기 때문이에요. 동물이 있었던 기간은 얼마나 되나요? 아마도 몇억 년, 뛰어다니고, 기어다니는 등의 다세포 동물이요. 그건 아마도 지구 수명의 10%예요. 아마도 그 시간 규모에서는 그다지 까다롭지 않아요. 그게 발전했다는 게 여전히 저에게는 놀라워요, 직관적으로요. 저는 아마도 단지 동물 같은 생명체들이 동물 같은 일들을 하는 걸 예상할 거예요. 문화와 지식을 창조하고 축적하는 뭔가를 얻을 수 있다는 사실이 저에게 놀라워요.

Dwarkesh Patel 01:34:42

몇 가지 흥미로운 후속 질문들이 있어요. Sutton의 관점을 받아들인다면, 지능의 핵심은 동물 지능이라는 거예요... 그가 한 인용구는 "다람쥐에 도달하면, AGI의 대부분을 얻은 거다"였어요.

우리는 6억 년 전 캄브리아기 대폭발 직후에 다람쥐 지능에 도달했어요. 그걸 촉발한 것 같은 건 6억 년 전 대 산소화 사건이었어요. 하지만 즉시 지능 알고리듬이 다람쥐 지능을 만들기 위해 거기 있었어요. 그건 동물 지능이 그렇게 였음을 시사해요. 환경에 산소가 있자마자, 진핵생물을 가졌고, 알고리듬을 바로 얻을 수 있었어요. 진화가 그렇게 빨리 우연히 그것에 부딪힌 게 사고였을 수도 있지만, 그게 결국 꽤 간단할 거임을 시사하는지 모르겠어요.

Andrej Karpathy 01:35:31

이런 것들 중 어떤 것으로든 말하기 너무 어려워요. 뭔가가 얼마나 오래 존재했는지 또는 뭔가가 얼마나 오래 병목되어 있었던 것처럼 느껴지는지를 약간 기반으로 할 수 있어요. Nick Lane은 박테리아와 고균에서 이 매우 명백한 병목에 대해 설명하는 데 매우 능숙해요. 20억 년 동안, 아무 일도 일어나지 않았어요. 생화학의 극도의 다양성이 있고, 그러나 아무것도 동물이 되도록 자라지 않아요. 20억 년이요.

당신의 지적대로, 동물과 지능에서 정확히 그런 종류의 동등한 걸 봤는지 모르겠어요. 우리는 또한 특정 지능이 개별적으로 몇 번 생겨났다고 생각하는지에 대해 그걸 볼 수 있어요.

Dwarkesh Patel 01:36:07

그건 조사할 정말 좋은 거예요.

Andrej Karpathy 01:36:09

그것에 대한 한 가지 생각. 호미니드 지능이 있고, 그런 다음 새 지능이 있어요. 까마귀, 등등, 극도로 영리하지만, 그들의 뇌 부분들은 꽤 구별되고, 우리는 그렇게 많은 공통점이 없어요. 그건 지능이 몇 번 생겨나는 것의 약간의 표시예요. 그런 경우, 더 자주 예상할 거예요.

Dwarkesh Patel 01:36:32

이전 게스트, Gwern과 Carl Shulman이 그것에 대해 정말 흥미로운 지적을 했어요. 그들의 관점은 인간이 갖고 있고 영장류가 갖고 있는 확장 가능한 알고리듬이 새에게서도 생겼고, 아마도 다른 때에도 생겼다는 거예요. 하지만 인간은 지능의 한계 증가를 보상하고 그 지능의 증가를 달성할 수 있는 확장 가능한 뇌 알고리듬도 가진 진화적 틈새를 찾았어요.

예를 들어, 새가 더 큰 뇌를 가졌다면, 그냥 공중에서 떨어질 거예요. 뇌 크기에 비해 매우 똑똑하지만, 뇌가 더 커지는 걸 보상하는 틈새에 있지 않아요. 아마도 정말 똑똑한... 비슷할 수 있어요.

Andrej Karpathy 01:37:28

돌고래 같은?

Dwarkesh Patel 01:37:28

정확히, 인간, 우리는 도구 사용을 배우는 방법을 보상하는 손을 갖고 있어요. 소화를 외부화할 수 있고, 뇌에 더 많은 에너지를, 그게 플라이휠을 시작해요.

Andrej Karpathy 01:38:02

작업할 것들도요. 제가 돌고래였다면 더 어려울 것 같아요. 어떻게 불을 피우나요? 물속에서, 물 안에서 할 수 있는 것들의 우주는 아마도 육지에서 할 수 있는 것보다 낮을 거예요, 화학적으로요.

이런 틈새들과 뭐가 인센티브화되고 있는지에 대한 이 관점에 동의해요. 여전히 기적적이라고 생각해요. 더 큰 근육을 가진 동물들에서 일들이 막힐 거로 예상했을 거예요. 지능을 통과하는 건 정말 매혹적인 전환점이에요.

Dwarkesh Patel 01:38:28

Gwern이 표현한 방식은 그게 그렇게 어려웠던 이유는 배우는 게 너무 중요해서 정확히 올바른 회로를 DNA에 직접 다시 증류할 가치가 없는 것과, 전혀 배울 만큼 충분히 중요하지 않은 것 사이의 매우 좁은 선이기 때문이라는 거예요. 평생 동안 배우는 알고리듬을 구축하도록 인센티브화하는 뭔가여야 해요.

Andrej Karpathy 01:38:55

어떤 종류의 적응성을 인센티브화해야 해요. 진화가 알고리듬을 가중치에 구울 수 없도록 예측할 수 없는 환경을 원해요. 많은 동물들이 이런 의미에서 미리 구워져 있어요. 인간은 태어났을 때 테스트 시간에 알아내야 해요. 뭐가 잘 작동할지 예견할 수 없는, 정말 빠르게 변하는 환경을 원해요. 테스트 시간에 그걸 알아내기 위해 지능을 만들어내요.

Dwarkesh Patel 01:39:28

Quintin Pope가 날카로운 도약을 예상하지 않는 이유가 인간이 날카로운 도약을 가졌기 때문이라고 말하는 흥미로운 블로그 글이 있었어요. 6만 년 전에 우리가 오늘날 가지고 있는 인지 아키텍처를 가진 것 같아요. 1만 년 전, 농업 혁명, 근대성. 그 5만 년 동안 무슨 일이 있었나요? 세대를 거쳐 지식을 축적할 수 있는 이 문화적 뼈대를 구축해야 했어요.

이건 우리가 AI 훈련을 하는 방식에서 무료로 존재하는 능력이에요. 많은 경우 문자 그대로 증류돼요. 모델을 재훈련하면, 서로에 대해 훈련될 수 있고, 같은 사전 훈련 말뭉치에 대해 훈련될 수 있고, 문자 그대로 처음부터 시작할 필요가 없어요. 인간이 이 문화적 루프를 작동시키는 데 오랜 시간이 걸렸지만, LLM 훈련을 하는 방식으로는 그냥 무료로 제공되는 감각이 있어요.

Andrej Karpathy 01:39:45

네 그리고 아니오. 왜냐하면 LLM은 실제로 문화의 동등한 걸 갖고 있지 않기 때문이에요. 아마도 우리가 그들에게 너무 많이 주고 있고 그걸 만들지 않도록 인센티브화하고 있거나 그런 것일 수도 있어요. 하지만 문화의 발명과 기록된 기록의 발명과 서로에게 메모를 전달하는 것, 현재 LLM에는 그것과 동등한 게 없다고 생각해요. LLM은 현재 실제로 문화를 갖고 있지 않고 그건 장애물 중 하나라고 말하고 싶어요.

Dwarkesh Patel 01:40:05

LLM 문화가 어떻게 보일지에 대한 감각을 주실 수 있나요?

Andrej Karpathy 01:40:09

가장 간단한 경우 그건 LLM이 편집할 수 있는 거대한 스크래치패드가 될 거예요. 그리고 뭔가를 읽거나 작업을 돕고 있을 때, 스스로를 위해 스크래치패드를 편집하고 있어요. LLM이 왜 다른 LLM들을 위해 책을 쓸 수 없나요? 그건 멋질 거예요. 다른 LLM들이 왜 이 LLM의 책을 읽고 그것에 영감을 받거나 충격을 받거나 그런 것들을 할 수 없나요? 이런 것들 중 어떤 것에 대한 동등한 게 없어요.

Dwarkesh Patel 01:40:29

흥미롭네요. 그런 종류의 것이 언제 일어나기 시작할 거로 예상하세요? 또한, 다중 에이전트 시스템과 일종의 독립적인 AI 문명과 문화는요?

Andrej Karpathy 01:40:40

다중 에이전트 영역에서 두 가지 강력한 아이디어가 있는데 둘 다 실제로 주장되거나 그런 게 없었어요. 첫 번째는 문화와 LLM이 자신의 목적을 위한 지식의 증가하는 레퍼토리를 갖는 거라고 말하고 싶어요.

두 번째는 자기 대결의 강력한 아이디어와 훨씬 더 비슷하게 보여요. 제 생각에는 극도로 강력해요. 진화는 지능과 진화를 이끄는 많은 경쟁을 갖고 있어요. AlphaGo에서 더 알고리듬적으로, AlphaGo는 자신과 대결하고 그게 바둑을 정말 잘하는 방법을 배우는 방법이에요. 자기 대결하는 LLM의 동등한 게 없지만, 그것도 존재할 거로 예상해요. 아직 아무도 하지 않았어요. 예를 들어, LLM이 왜 다른 LLM이 해결하는 걸 배우고 있는 많은 문제들을 만들 수 없나요? 그런 다음 LLM은 항상 점점 더 어려운 문제들을 제공하려고 노력하고, 그런 것들이에요.

그걸 조직하는 많은 방법들이 있어요. 연구 영역이지만, 이 두 가지 다중 에이전트 개선을 설득력 있게 주장하는 걸 본 적이 없어요. 우리는 대부분 단일 개별 에이전트의 영역에 있지만, 그건 변할 거예요. 문화 영역에서도, 조직들도 포함시키고 싶어요. 그것도 설득력 있게 본 적이 없어요. 그게 우리가 여전히 초기인 이유예요.

Dwarkesh Patel 01:41:53

LLM 간의 이런 종류의 협력을 막고 있는 핵심 병목을 식별할 수 있나요?

Andrej Karpathy 01:41:59

아마도 제가 표현하는 방식은, 이런 비유들 중 일부가 작동하고 작동하지 말아야 하지만, 어떻게든, 놀랍게도, 작동한다는 거예요. 더 작은 모델들이나, 더 멍청한 모델들 중 많은 게, 놀랍게도 유치원생이나, 초등학생이나 고등학생을 닮아요. 어떻게든, 우리는 여전히 이런 것들이 인수받을 수 있을 만큼 충분히 졸업하지 못했어요. 제 Claude Code나 Codex, 그들은 여전히 초등학년 학생처럼 느껴져요. 그들이 박사 과정 퀴즈를 풀 수 있다는 걸 알지만, 여전히 인지적으로 유치원생이나 초등학생처럼 느껴져요.

문화를 만들 수 있다고 생각하지 않아요. 왜냐하면 여전히 아이들이기 때문이에요. 신동 아이들이에요. 이 모든 것의 완벽한 기억을 갖고 있어요. 정말 잘 보이는 온갖 종류의 슬롭을 설득력 있게 만들 수 있어요. 하지만 여전히 그들이 뭘 하고 있는지 실제로 모른다고 생각하고 우리가 여전히 모아야 할 이 모든 작은 체크박스들에 걸쳐 인지를 실제로 갖고 있지 않다고 생각해요.

01:42:55 자율주행에 왜 그렇게 오랜 시간이 걸렸나

Dwarkesh Patel 01:42:55

당신은 테슬라에서 2017년부터 2022년까지 자율 주행을 이끌었다고 이야기했어요. 그리고 멋진 데모에서 이제 수천 대의 차가 실제로 자율적으로 주행하는 것까지 이 진보를 직접 보셨어요. 왜 그게 10년이 걸렸나요? 그 시간 동안 무슨 일이 있었나요?

Andrej Karpathy 01:43:11

제가 거의 즉시 반박하고 싶은 한 가지는 이게 끝난 것 근처에도 가지 못했다는 거예요. 제가 다룰 많은 방식에서요. 자율 주행은 매우 흥미로워요. 왜냐하면 제가 5년을 그것에 보냈기 때문에 제 직관의 많은 부분을 얻는 곳이 확실히 거기이기 때문이에요. 자율 주행의 첫 번째 데모가 1980년대까지 거슬러 올라가는 전체 역사가 있어요. 1986년 CMU의 데모를 볼 수 있어요. 도로에서 스스로 운전하는 트럭이 있어요.

빨리 감기. 제가 테슬라에 합류할 때, 저는 Waymo의 매우 초기 데모를 갖고 있었어요. 기본적으로 10년 전인 2014년이나 그런 때에 완벽한 주행을 주었어요. 그래서 10년 전에 완벽한 Waymo 주행이요. 그건 거기서 일하는 친구가 있었기 때문에 팔로 알토 주변을 데려가 준 거였어요. 저는 그게 매우 가깝다고 생각했고 그런 다음 여전히 오랜 시간이 걸렸어요.

어떤 종류의 작업과 일자리 등에 대해서는, 데모가 매우 쉽지만 제품은 매우 어려운 매우 큰 데모-제품 격차가 있어요. 특히 실패의 비용이 너무 높은 자율 주행 같은 경우에 그래요. 많은 산업들, 작업들, 그리고 일자리들은 아마도 그 속성을 갖고 있지 않지만, 그 속성을 갖고 있을 때, 그건 확실히 타임라인을 증가시켜요.

예를 들어, 소프트웨어 엔지니어링에서, 저는 그 속성이 존재한다고 생각해요. 많은 바이브 코딩에 대해서는 그렇지 않아요. 하지만 실제 프로덕션급 코드를 작성하고 있다면, 그 속성이 존재해야 해요. 왜냐하면 어떤 종류의 실수도 보안 취약점이나 그런 걸로 이어지기 때문이에요. 수백만, 수억 명의 사람들의 개인 주민등록번호가 유출되거나 그런 거예요. 그래서 소프트웨어에서, 사람들은 조심해야 해요, 자율 주행에서처럼요. 자율 주행에서, 일이 잘못되면, 부상을 입을 수도 있어요. 더 나쁜 결과들이 있고요. 하지만 소프트웨어에서, 그건 거의 무한해요. 얼마나 끔찍한 뭔가가 될 수 있는지요.

그들이 그 속성을 공유한다고 생각해요. 오랜 시간이 걸리는 것과 그것에 대해 생각하는 방법은 그게 9의 행진이라는 거예요. 모든 단일 9는 일정한 양의 작업이에요. 모든 단일 9는 같은 양의 작업이고요. 데모를 얻고 뭔가가 90% 시간 작동하면, 그건 그냥 첫 번째 9예요. 그런 다음 두 번째 9, 세 번째 9, 네 번째 9, 다섯 번째 9가 필요해요. 제가 테슬라에서 5년 정도 있었을 때, 우리는 아마도 세 개의 9나 두 개의 9를 거쳤어요. 그게 뭔지 모르지만, 반복의 여러 9들이에요. 여전히 더 많은 9들이 필요하고요.

그게 이런 것들이 그렇게 오래 걸리는 이유예요. 그건 저에게 확실히 형성적이었어요, 데모였던 뭔가를 보는 게요. 저는 데모에 매우 감명받지 않아요. 어떤 것의 데모를 볼 때마다, 저는 그것에 극도로 감명받지 않아요. 그게 누군가가 보여주기 위해 만들어낸 데모라면, 더 나빠요. 그것과 상호작용할 수 있다면, 약간 나아요. 하지만 그때조차도, 끝나지 않았어요. 실제 제품이 필요해요. 현실과 접촉했을 때 이 모든 도전들에 직면할 거고 패치가 필요한 행동의 이 모든 다른 주머니들이 있어요.

우리는 이 모든 것들이 펼쳐지는 걸 볼 거예요. 9의 행진이에요. 각 9는 일정해요. 데모들은 격려적이에요. 여전히 엄청난 양의 작업이 필요하고요. 바이브 코딩을 하고 있지 않다면 중요한 안전 도메인이에요, 그건 모두 좋고 재미있어요. 그게 또한 그 관점에서 제 타임라인을 강화한 이유예요.

Dwarkesh Patel 01:46:25

그걸 듣는 게 매우 흥미로워요. 소프트웨어에서 필요한 안전 보장이 자율 주행과 크게 다르지 않다고 말씀하시는 거요. 사람들이 종종 말하는 건 자율 주행이 그렇게 오래 걸린 이유가 실패의 비용이 너무 높기 때문이라는 거예요. 인간은 평균적으로 40만 마일마다 또는 7년마다 실수를 해요. 적어도 7년 동안 실수를 할 수 없는 코딩 에이전트를 출시해야 한다면, 배포하기가 훨씬 더 어려울 거예요.

하지만 당신의 요점은 중대한 코딩 실수를 했다면, 7년마다 중요한 시스템을 망가뜨리는 것 같은...

Andrej Karpathy 01:46:56

하기 매우 쉬워요.

Dwarkesh Patel 01:46:57

사실, 벽시계 시간 측면에서, 그건 7년보다 훨씬 적을 거예요. 왜냐하면 그런 식으로 코드를 지속적으로 출력하고 있기 때문이에요. 토큰 측면에서는 7년일 거예요. 하지만 벽시계 시간 측면에서는...

Andrej Karpathy 01:47:09

어떤 면에서, 그건 훨씬 더 어려운 문제예요. 자율 주행은 사람들이 하는 수천 가지 중 하나일 뿐이에요. 거의 단일 수직 같아요, 제 생각에는요. 반면 일반적인 소프트웨어 엔지니어링에 대해 이야기하고 있을 때, 그건 훨씬 더... 더 많은 표면적이 있어요.

Dwarkesh Patel 01:47:20

사람들이 그 비유에 대해 하는 또 다른 반론이 있는데, 자율 주행에서, 그 시간의 큰 부분을 차지한 게 견고한 기본 인식을 갖는 문제를 해결하고, 표현을 구축하고, 약간 분포 밖인 뭔가를 볼 때 일반화할 수 있도록 상식을 가진 모델을 갖는 거였다는 거예요. 누군가 도로에서 이런 식으로 손을 흔들고 있다면, 그것을 위해 훈련할 필요가 없어요. 그건 그런 것에 어떻게 응답할지에 대한 어떤 이해를 가질 거예요.

이것들은 오늘날 LLM이나 VLM으로 무료로 얻고 있는 것들이고, 그래서 이런 매우 기본적인 표현 문제들을 해결할 필요가 없어요. 그래서 이제 다른 도메인에 걸쳐 AI를 배포하는 건 현재 모델로 자율 주행 차를 다른 도시로 배포하는 것 같을 거고, 그건 어렵지만 10년짜리 작업 같은 건 아니에요.

Andrej Karpathy 01:48:07

100% 확신하지 못해요. 만약 그것에 완전히 동의한다면요. 무료로 얻고 있는 게 얼마나 되는지 모르겠어요. 얻고 있는 게 뭔지 이해하는 데 여전히 많은 격차들이 있어요. 우리는 확실히 단일 존재에서 더 일반화 가능한 지능을 얻고 있어요. 반면 자율 주행은 매우 특수 목적 작업이에요. 어떤 의미에서 특수 목적 작업을 구축하는 게 아마도 훨씬 더 어려워요. 왜냐하면 규모에서 하고 있는 더 일반적인 것으로부터 나오지 않기 때문이에요, 그게 말이 된다면요.

하지만 비유는 여전히 완전히 공명하지 않아요. 왜냐하면 LLM은 여전히 꽤 오류가 많고 채워야 할 많은 격차들을 갖고 있기 때문이에요. 우리가 상자 밖에서 마법 같은 일반화를 완전히 얻고 있다고 생각하지 않아요, 특정 의미에서요.

제가 돌아가고 싶었던 다른 측면은 자율 주행 차들이 아직 끝난 것 근처에도 없다는 거예요. 배포들은 꽤 최소한이에요. Waymo조차도 매우 적은 차들을 갖고 있어요. 대략적으로 말하면 그들이 그걸 하고 있는 이유는 경제적이지 않기 때문이에요. 그들은 미래에 사는 뭔가를 만들었어요. 미래를 끌어당겨야 했지만, 비경제적으로 만들어야 했어요. 그 차들과 그들의 운영과 유지보수를 위한 한계 비용뿐만 아니라, 전체의 자본 지출도 모든 이런 비용들이 있어요. 그걸 경제적으로 만드는 건 여전히 그들에게 고된 일이 될 거예요.

또한, 이 차들을 볼 때 아무도 운전하지 않고 있지만, 저는 실제로 그게 약간 속이고 있다고 생각해요. 왜냐하면 이 차들과 어떤 방식으로 루프에 있는 사람들의 매우 정교한 원격 조작 센터들이 있기 때문이에요. 전체 범위를 갖고 있지 않지만, 예상하는 것보다 더 많은 인간-루프가 있어요. 하늘에서 빔으로 들어오는 어딘가에 사람들이 있어요. 그들이 운전과 완전히 루프에 있는지 모르겠어요. 때때로 그들은 있지만, 확실히 관여하고 있고 사람들이 있어요. 어떤 의미에서, 우리는 실제로 사람을 제거하지 않았어요, 우리는 그들을 당신이 볼 수 없는 어딘가로 옮겼어요.

여전히 자율 주행을 실제로 만들기 위한 어떤 작업이 있을 거라고 생각해요. 하지만 당신이 언급한 대로 환경에서 환경으로 가는 것에 대해 동의해요. 여전히 자율 주행을 실제로 만들기 위한 도전들이 있어요. 하지만 그게 확실히 그게 실제처럼 느껴지는 임계값을 넘었다고 동의해요, 실제로 원격 조작되지 않는 한요. 예를 들어, Waymo는 도시의 모든 다른 부분들로 갈 수 없어요. 제 의심은 그게 좋은 신호를 얻지 못하는 도시의 부분들이라는 거예요. 어쨌든, 저는 스택에 대해 아무것도 몰라요. 저는 그냥 지어내고 있어요.

Dwarkesh Patel 01:50:23

당신은 테슬라에서 5년 동안 자율 주행을 이끌었잖아요.

Andrej Karpathy 01:50:27

죄송합니다, 저는 Waymo의 세부사항에 대해 아무것도 몰라요. 그런데, 저는 Waymo를 사랑하고 항상 타요. 저는 단지 사람들이 때때로 진보에 대해 약간 너무 순진하다고 생각하고 여전히 엄청난 양의 작업이 있다고 생각해요. 테슬라는 제 생각에 훨씬 더 확장 가능한 접근법을 취했고 팀이 극도로 잘하고 있어요. 저는 이게 어떻게 진행될지에 대해 예측하는 기록에 있어요. Waymo는 많은 센서를 패키지할 수 있기 때문에 초기 시작을 했어요. 하지만 테슬라가 더 확장 가능한 전략을 취하고 있다고 생각하고 그것과 훨씬 더 비슷하게 보일 거예요. 그래서 이건 여전히 펼쳐져야 하고 그렇지 않았어요. 하지만 자율 주행을 10년이 걸린 뭔가로 이야기하고 싶지 않아요. 왜냐하면 아직 걸리지 않았기 때문이에요, 그게 말이 된다면요.

Dwarkesh Patel 01:51:08

왜냐하면 첫째, 시작이 1980년이고 10년 전이 아니고, 그런 다음 둘째, 끝이 아직 여기 있지 않기 때문이에요.

Andrej Karpathy 01:51:14

끝이 아직 가깝지 않아요. 왜냐하면 자율 주행에 대해 이야기할 때, 보통 제 생각에는 규모에서의 자율 주행이에요. 사람들이 운전면허를 받을 필요가 없고, 등등이요.

Dwarkesh Patel 01:51:22

비유가 다를 수 있는 두 가지 다른 방법들을 제시하고 싶어요. 이 질문이 특히 흥미로운 이유는 AI가 얼마나 빨리 배포되는지, 초기에 얼마나 가치가 있는지가 잠재적으로 지금 세상에서 가장 중요한 질문이기 때문이에요. 2030년이 어떻게 보일지 모델링하려고 한다면, 이게 당신이 어느 정도 이해해야 할 질문이에요.

당신이 생각할 수 있는 또 다른 건 첫째, 자율 주행에는 지연 시간 요구사항이 있어요. 실제 모델들이 뭔지 전혀 모르겠지만, 수천만 개의 파라미터 같은 거라고 가정해요. 이건 LLM을 사용한 지식 노동에 필요한 제약이 아니에요. 컴퓨터 사용과 그런 것들로는 그럴 수도 있지만요.

하지만 다른 큰 건, 아마도 더 중요한 건, 이 자본 지출 질문이에요. 네, 모델의 추가 복사본을 제공하는 데 추가 비용이 있지만, 세션의 운영 비용은 꽤 낮고 추론 스케일링이 어떻게 진행되는지 등에 따라 AI의 비용을 훈련 실행 자체로 분할 상환할 수 있어요. 하지만 확실히 모델의 또 다른 인스턴스를 제공하기 위해 완전히 새로운 차를 만드는 것만큼은 아니에요. 그래서 더 광범위하게 배포하는 경제성은 훨씬 더 유리해요.

Andrej Karpathy 01:52:37

그건 맞다고 생각해요. 비트의 영역에 머무른다면, 비트는 물리적 세계를 건드리는 것보다 백만 배 더 쉬워요. 그건 확실히 인정해요. 비트는 완전히 변경 가능하고, 매우 빠른 속도로 임의로 재배열 가능해요. 산업에서도 훨씬 더 빠른 적응을 예상할 거예요. 첫 번째 건 뭐였나요?

Dwarkesh Patel 01:52:59

지연 시간 요구사항과 모델 크기에 대한 그것의 함의?

Andrej Karpathy 01:53:02

대략 맞다고 생각해요. 또한 규모에서 지식 노동에 대해 이야기하고 있다면, 실용적으로 말해서 일부 지연 시간 요구사항이 있을 거라고 생각해요. 왜냐하면 엄청난 양의 컴퓨팅을 만들어야 하고 그걸 제공해야 하기 때문이에요.

제가 매우 간단히 이야기하고 싶은 마지막 측면은 나머지 모든 거예요. 사회가 그것에 대해 어떻게 생각하나요? 법적 영향은 뭔가요? 법적으로 어떻게 작동하나요? 보험 측면에서는 어떻게 작동하나요? 그것의 그런 층들과 측면들은 뭔가요? Waymo에 원뿔을 올려놓는 사람들의 동등한 건 뭘까요? 그 모든 것의 동등한 것들이 있을 거예요. 그래서 자율 주행이 당신이 것들을 빌릴 수 있는 매우 좋은 비유라고 느껴요. 차 안의 원뿔의 동등한 건 뭔가요? 숨겨져 있는 원격 조작 작업자의 동등한 건 뭐고 그것의 모든 측면들인가요.

Dwarkesh Patel 01:53:53

현재 AI 구축에 대해 어떤 의견이 있으세요? 1년이나 2년 안에 세계에서 사용 가능한 컴퓨팅을 10배로 늘릴 거고 10년 말까지는 100배 이상 늘릴 거예요. AI의 사용이 일부 사람들이 순진하게 예측하는 것보다 낮을 거라면, 그건 우리가 컴퓨팅을 과다 구축하고 있다는 걸 의미하나요 아니면 그건 별도의 질문인가요?

Andrej Karpathy 01:54:15

철도에서 일어난 것 같은 거예요.

Dwarkesh Patel 01:54:18

뭐라고요, 죄송합니다?

Andrej Karpathy 01:54:19

철도였나요 아니면?

Dwarkesh Patel 01:54:20

네, 그랬어요.

Andrej Karpathy 01:54:21

네. 역사적 선례가 있어요. 아니면 통신 산업이었나요? 10년 후에야 온 인터넷을 미리 포장하고 90년대 후반 통신 산업에서 전체 버블을 만든 거요.

제가 여기서 매우 비관적으로 들린다는 걸 이해해요. 저는 실제로 낙관적이에요. 이게 작동할 거라고 생각해요. 다루기 쉽다고 생각하고요. 제가 비관적으로 들리는 유일한 이유는 제 트위터 타임라인에 가면, 저에게 말이 안 되는 이 모든 것들을 보기 때문이에요. 그게 존재하는 많은 이유들이 있어요. 솔직히 많은 부분이 그냥 자금 조달이에요. 인센티브 구조예요. 많은 부분이 자금 조달일 수 있어요. 많은 부분이 그냥 주의이고, 인터넷에서 주의를 돈으로 전환하는 거예요, 그런 것들요. 많은 게 진행되고 있고, 저는 그것에만 반응하고 있어요.

하지만 저는 여전히 전반적으로 기술에 대해 매우 낙관적이에요. 우리는 이 모든 것들을 해결할 거예요. 빠른 양의 진보가 있었어요. 과다 구축이 있는지 모르겠어요. 제 이해로는, 구축되고 있는 걸 집어삼킬 수 있을 거라고 생각해요. 예를 들어, Claude Code나 OpenAI Codex 같은 것들은 1년 전에도 존재하지 않았어요. 맞나요? 이건 존재하지 않았던 기적적인 기술이에요. 이미 ChatGPT 등에서 보는 것처럼 엄청난 양의 수요가 있을 거예요.

그래서 과다 구축이 있는지 모르겠어요. 저는 그냥 사람들이 계속 잘못 말하는 매우 빠른 타임라인 중 일부에 반응하고 있어요. 저는 AI 분야에서 15년 동안 일하면서 평판이 매우 좋은 사람들이 항상 이 문제를 잘못 이해하는 경우를 많이 들었어요. 저는 이게 제대로 조정되기를 원하고, 이것 중 일부는 또한 이런 질문들과 함께 지정학적 영향들과 그런 것들도 갖고 있어요. 저는 사람들이 그 영역의 것들에서 실수하기를 원하지 않아요. 저는 우리가 기술이 뭐고 뭐가 아닌지의 현실에 기반하기를 원해요.

01:56:20 - 교육의 미래

Dwarkesh Patel 01:56:20

교육과 Eureka에 대해 이야기해 봐요. 당신이 할 수 있는 한 가지는 또 다른 AI 연구소를 시작하고 그런 다음 그 문제들을 해결하려고 노력하는 거예요. 저는 당신이 지금 뭘 하고 있는지, 그리고 왜 AI 연구 자체가 아닌지 궁금해요.

Andrej Karpathy 01:56:33

제가 표현하는 방식은 AI 연구소들이 하고 있는 것들에 대해 어느 정도의 결정론을 느낀다는 거예요. 거기서 도울 수 있다고 느끼지만, 독특하게 개선할 거라고 확신하지 못해요. 제 개인적인 큰 두려움은 이 많은 것들이 인류의 측면에서 일어나고, 인류가 그것에 의해 권한을 박탈당한다는 거예요. 저는 우리가 만들 모든 다이슨 구체들뿐만 아니라 인간들에게 무슨 일이 일어나는지도 신경 쓰고, AI가 완전히 자율적인 방식으로 만들 거예요. 저는 미래에 인간들이 잘 되기를 원해요.

프론티어 연구소에서의 점진적 개선보다 그곳에서 훨씬 더 독특하게 가치를 추가할 수 있다고 느껴요. 저는 월-E나 이디오크라시(Idiocracy) 같은 영화에서 묘사된 것 같은 뭔가를 가장 두려워해요. 인류가 이런 것들의 측면에 있는 곳이요. 저는 인간들이 이 미래에 훨씬, 훨씬 더 나아지기를 원해요. 저에게, 이건 당신이 이걸 달성할 수 있는 교육을 통해서예요.

Dwarkesh Patel 01:57:35

그래서 거기서 뭘 하고 계세요?

Andrej Karpathy 01:57:36

제가 설명할 수 있는 가장 쉬운 방법은 우리가 스타플릿 아카데미를 만들려고 노력하고 있다는 거예요. 스타 트렉을 보셨는지 모르겠어요.

Dwarkesh Patel 01:57:44

안 봤어요.

Andrej Karpathy 01:57:44

스타플릿 아카데미는 프론티어 기술, 우주선 건설, 그리고 이 우주선들의 조종사가 될 사관생도들을 졸업시키는 것 등을 위한 이 엘리트 기관이에요. 그래서 저는 그냥 기술 지식을 위한 엘리트 기관과 매우 최신이고 최고인 일종의 학교를 상상해요.

Dwarkesh Patel 01:58:05

제가 당신에게 가지고 있는 질문의 범주는 기술적 또는 과학적 내용을 잘 가르치는 걸 설명하는 거예요. 왜냐하면 당신은 그것의 세계 마스터들 중 한 명이기 때문이에요. YouTube에 이미 내놓은 내용에 대해 어떻게 생각하는지, 그리고 Eureka에 대해서도, 다르다면 어떻게 생각하는지 모두 궁금해요.

Andrej Karpathy 01:58:25

Eureka에 대해서, 교육에 대해 저에게 매우 매혹적인 한 가지는 교육이 AI가 측면에 있으면 꽤 근본적으로 변할 거라고 생각한다는 거예요. 어느 정도 재배선되고 변경되어야 하고요.

여전히 우리가 꽤 초기라고 생각해요. LLM을 갖고 있고 질문하는 명백한 것들을 하려고 할 많은 사람들이 있을 거예요. 지금 프롬프팅을 통해 할 기본적인 모든 것들을 하세요. 도움이 되지만, 여전히 저에게는 약간 슬롭처럼 느껴져요. 제대로 하고 싶고, 능력이 제가 원하는 것에는 없다고 생각해요. 제가 원하는 건 실제 튜터 경험이에요.

제 마음속의 두드러진 예는 제가 최근에 한국어를 배우고 있었다는 거예요. 그래서 언어 학습이요. 저는 인터넷에서 혼자 한국어를 배우는 단계를 거쳤어요. 저는 한국에서 한국어를 듣는 다른 사람들 무리와 함께 작은 수업의 일부였던 단계를 거쳤는데, 정말 웃겼어요. 우리는 선생님과 10명 정도가 한국어를 듣고 있었어요. 그런 다음 일대일 튜터로 전환했고요.

제가 매혹적이었던 건, 정말 좋은 튜터를 가졌다고 생각하는데, 그냥 이 튜터가 저를 위해 뭘 하고 있었는지 생각하고 그 경험이 얼마나 놀라웠는지, 그리고 제가 결국 만들고 싶은 것에 대한 기준이 얼마나 높은지예요. 매우 짧은 대화로부터 즉시, 그녀는 제가 학생으로서 어디에 있는지, 제가 뭘 알고 모르는지 이해했어요. 제 세계 모델을 이해하기 위해 정확히 어떤 종류의 질문들이나 것들을 탐색할 수 있었어요. 지금 당장 어떤 LLM도 당신을 위해 그걸 100% 하지 않을 거예요, 가깝지도 않아요. 하지만 튜터는 그들이 좋다면 그걸 할 거예요. 일단 이해하면, 그녀는 정말로 제 현재 능력의 조각에서 제가 필요한 모든 것들을 제공했어요. 항상 적절하게 도전받아야 해요. 너무 어렵거나 너무 사소한 것에 직면할 수 없고, 튜터는 당신에게 딱 맞는 걸 제공하는 데 정말 능숙해요.

배움의 유일한 제약이 저라고 느꼈어요. 완벽한 정보가 항상 주어졌어요. 저는 유일한 제약이에요. 좋은 기분이었어요. 왜냐하면 제가 존재하는 유일한 장애물이기 때문이에요. 지식을 찾을 수 없거나 제대로 설명되지 않았거나 등등이 아니에요. 그냥 암기하는 제 능력과 그런 것들이에요. 이게 제가 사람들을 위해 원하는 거예요.

Dwarkesh Patel 02:00:27

어떻게 그걸 자동화하나요?

Andrej Karpathy 02:00:29

매우 좋은 질문이에요. 현재 능력으로는, 하지 않아요. 그게 제가 이런 종류의 AI 튜터를 만드는 게 실제로 적절한 시기가 아니라고 생각하는 이유예요. 여전히 유용한 제품이라고 생각하고, 많은 사람들이 그걸 만들 거지만, 기준이 너무 높고 능력이 거기 없어요. 오늘날에도, ChatGPT는 극도로 가치 있는 교육 제품이라고 말하고 싶어요. 하지만 저에게, 그녀와 함께 있었을 때 기준이 얼마나 높은지 보는 게 너무나 매혹적이었어요. 저는 거의 이걸 만들 방법이 없는 것처럼 느꼈어요.

Dwarkesh Patel 02:01:02

하지만 당신은 그걸 만들고 있죠, 맞나요?

Andrej Karpathy 02:01:03

정말 좋은 튜터를 가진 사람은 누구나 "어떻게 이걸 만들 거야?"라고 생각해요. 저는 그 능력을 기다리고 있어요.

저는 컴퓨터 비전에 대한 AI 컨설팅을 했어요. 많은 경우, 제가 회사에 가져온 가치는 그들에게 AI를 사용하지 말라고 말하는 거였어요. 저는 AI 전문가였고, 그들은 문제를 설명했고, 저는 "AI를 사용하지 마세요"라고 말했어요. 이게 제 부가 가치예요. 지금 교육에서도 같은 느낌이에요. 제가 염두에 둔 것에 대해서는, 아직 시기가 아니지만, 시기가 올 거예요. 지금으로서는, 물리적 및 디지털 구성 요소 등을 가진 약간 더 전통적으로 보이는 뭔가를 만들고 있어요. 하지만 미래에 이게 어떻게 보여야 하는지 명백해요.

Dwarkesh Patel 02:01:43

당신이 기꺼이 말하는 한, 올해나 내년에 출시되기를 바라는 건 뭔가요?

Andrej Karpathy 02:01:49

첫 번째 코스를 만들고 있어요. 정말, 정말 좋은 코스를 만들고 싶어요. 이 경우 AI인, 배우러 가는 명백한 최첨단 목적지요. 그게 제가 익숙한 거기 때문에, 그건 거기 정말 잘하기 위한 정말 좋은 첫 번째 제품이에요. 그래서 그게 제가 만들고 있는 거예요. 당신이 간단히 언급한 Nanochat은 제가 만들고 있는 수업인 LLM101N의 캡스톤 프로젝트예요. 그건 그것의 정말 큰 조각이에요. 하지만 이제 많은 중간 단계들을 만들어야 하고, 그런 다음 TA들의 작은 팀을 고용해야 하고 전체 코스를 만들어야 해요.

제가 말하고 싶은 한 가지 더는 많은 경우, 사람들이 교육에 대해 생각할 때, 제가 지식을 확산시키는 더 부드러운 구성 요소라고 말하는 것에 대해 더 많이 생각한다는 거예요. 저는 매우 어렵고 기술적인 걸 염두에 두고 있어요. 제 생각에, 교육은 지식에 대한 램프를 만드는 매우 어려운 기술적 과정이에요. 제 생각에, nanochat은 지식에 대한 램프예요. 왜냐하면 매우 간단하기 때문이에요. 완전히 단순화된 전체 스택 거예요. 이 아티팩트를 누군가에게 주고 그들이 그걸 살펴본다면, 엄청난 양의 것들을 배우고 있어요. 제가 초당 유레카라고 부르는 많은 걸 주고 있는데, 초당 이해예요. 그게 제가 원하는 거예요, 초당 많은 유레카. 그래서 저에게, 이건 우리가 이 램프를 어떻게 매우 효율적으로 만드는지의 기술적 문제예요. 사람들이 절대 막히지 않고 모든 게 항상 너무 어렵지도 너무 사소하지도 않고, 진보하기 위한 딱 맞는 자료를 갖고 있도록요.

Dwarkesh Patel 02:03:25

당신이 단기적으로 상상하는 건 튜터가 당신의 이해를 탐색할 수 있는 대신, 자신을 탐색할 수 있을 만큼 충분한 자기 인식을 갖고 있다면, 절대 막히지 않을 거라는 거예요. TA와 이야기하거나 LLM과 이야기하고 참조 구현을 보는 것 사이에서 올바른 답을 찾을 수 있어요. 지금까지 자동화나 AI가 중요한 부분이 아닌 것 같아요. 지금까지, 여기서 큰 알파는 수업의 소스 자료로 성문화된 AI를 설명하는 당신의 능력이에요. 그게 근본적으로 코스가 뭔지예요.

Andrej Karpathy 02:04:00

당신은 항상 산업에 존재하는 능력에 맞춰 조정되어야 해요. 많은 사람들이 그냥 ChatGPT에 물어보는 것 등을 추구할 거예요. 하지만 지금 당장, 예를 들어, ChatGPT에 가서 AI를 가르쳐 달라고 하면, 방법이 없어요. 슬롭을 줄 거예요. AI는 지금 당장 nanochat을 절대 작성하지 않을 거예요. 하지만 nanochat은 정말 유용한 중간 지점이에요. 저는 이 모든 자료를 만들기 위해 AI와 협력하고 있으므로, AI는 여전히 근본적으로 매우 도움이 돼요.

예전에 저는 스탠퍼드에서 CS231n을 만들었는데요. 스탠퍼드에서 첫 번째 딥러닝 수업이었다고 생각하는데, 매우 인기가 있었어요. 그때 231n을 만드는 것과 지금 LLM101N을 만드는 것의 차이는 꽤 극명해요. LLM이 지금 존재하는 대로 그것들에 의해 정말로 권한을 부여받았다고 느끼지만, 저는 매우 많이 루프에 있어요. 그들은 자료를 만드는 걸 도와주고, 저는 훨씬 더 빨리 가요. 그들은 지루한 것들을 많이 하고 있어요, 등등. 코스를 훨씬 더 빨리 개발하고 있다고 느끼고, LLM이 주입되어 있지만, 창의적으로 내용을 만들 수 있는 곳에는 아직 없어요. 저는 여전히 그걸 하기 위해 거기 있어요. 까다로운 점은 항상 존재하는 것에 자신을 조정하는 거예요.

Dwarkesh Patel 02:05:04

몇 년 후 Eureka를 통해 사용 가능한 걸 상상할 때, 큰 병목은 자신의 이해를 이런 램프들로 전환할 수 있는 분야 하나하나에서 Karpathy들을 찾는 것인 것 같아요.

Andrej Karpathy 02:05:18

시간이 지남에 따라 변할 거예요. 지금 당장, AI와 사람들의 팀과 손을 맞잡고 일하기 위해 교수진을 고용하는 게 될 거예요. 아마도 최첨단 코스들을 만들기 위해서요. 시간이 지나면 아마도 TA들 중 일부는 AI가 될 수 있어요. 모든 코스 자료를 가져가고 그런 다음 학생을 위해 매우 좋은 자동화된 TA를 제공할 수 있다고 생각해요. 그들이 더 기본적인 질문이 있을 때나 그런 것일 때요. 하지만 코스의 전반적인 아키텍처와 그게 맞는지 확인하기 위해서는 교수진이 필요할 거라고 생각해요. 그래서 이게 어떻게 진화할지의 진행을 봐요. 아마도 어떤 미래 시점에 저는 그다지 유용하지 않고 AI가 제가 할 수 있는 것보다 훨씬 더 잘 대부분의 디자인을 하고 있어요. 하지만 여전히 그게 전개되는 데 시간이 걸릴 거라고 생각해요.

Dwarkesh Patel 02:05:59

다른 분야에서 전문 지식을 가진 사람들이 코스를 기여하는 걸 상상하고 계세요, 아니면 당신이 어떻게 가르치고 싶은지에 대한 이해를 감안할 때, 내용을 디자인하는 사람이 당신이어야 하는 게 비전에 매우 필수적이라고 느끼세요? Sal Khan이 Khan Academy의 모든 비디오를 직접 해설하는 것처럼요. 그런 걸 상상하고 계세요?

Andrej Karpathy 02:06:20

아니요, 교수진을 고용할 거예요. 왜냐하면 제가 전문가가 아닌 도메인들이 있기 때문이에요. 그게 궁극적으로 학생을 위한 최첨단 경험을 제공하는 유일한 방법이에요. 교수진을 고용할 거로 예상하지만, 저는 아마도 AI에서 한동안 머물 거예요. 현재 능력에 대해 사람들이 아마도 예상하는 것보다 더 전통적인 걸 염두에 두고 있어요.

스타플릿 아카데미를 만들 때, 아마도 물리적 기관을 상상하고, 그 아래 계층으로 디지털 제공을 상상해요. 그건 누군가 물리적으로 풀타임으로 와서 우리가 처음부터 끝까지 자료를 작업하고 당신이 이해하는지 확인할 때 얻을 최첨단 경험이 아니에요. 그게 물리적 제공이에요. 디지털 제공은 인터넷의 많은 것들과 아마도 어떤 LLM 어시스턴트예요. 약간 더 기믹이고 그 아래 계층이지만, 적어도 80억 명의 사람들에게 접근 가능해요.

Dwarkesh Patel 02:07:08

기본적으로 당신은 오늘날 사용 가능한 도구들을 위해 처음 원리에서 대학을 발명하고 자료에 진정으로 참여할 동기와 관심을 가진 사람들을 선택하고 있는 것 같아요.

Andrej Karpathy 02:07:26

교육뿐만 아니라 재교육도 많이 있어야 할 거예요. 저는 거기서 돕고 싶어요. 왜냐하면 일자리들이 아마도 꽤 많이 변할 거기 때문이에요. 예를 들어, 오늘날 많은 사람들이 특히 AI에서 기술 향상을 하려고 노력하고 있어요. 이와 관련해서 가르치기에 정말 좋은 코스라고 생각해요. 동기 측면에서, AGI 이전 동기는 해결하기 매우 간단해요. 왜냐하면 사람들이 돈을 벌고 싶어하기 때문이에요. 이게 오늘날 산업에서 돈을 버는 방법이에요. AGI 이후는 훨씬 더 흥미로울 수 있어요. 왜냐하면 모든 게 자동화되고 누구에게도 할 일이 없다면, 왜 누군가 학교에 가겠어요?

저는 종종 AGI 이전 교육은 유용하다고 말해요. AGI 이후 교육은 재미있고요. 사람들이 오늘날 체육관에 가는 것과 비슷한 방식으로요. 우리는 무거운 물체를 조작하기 위해 그들의 물리적 힘이 필요하지 않아요. 왜냐하면 우리는 그걸 하는 기계들을 갖고 있기 때문이에요. 그들은 여전히 체육관에 가요. 왜 체육관에 가나요? 재미있고, 건강하고, 복근이 있으면 멋져 보이기 때문이에요. 그걸 하는 게 사람들에게 매력적이에요. 매우 깊은, 심리적, 진화적 의미에서 인류를 위해요. 교육도 같은 방식으로 전개될 거예요. 체육관에 가는 것처럼 학교에 갈 거예요.

지금 당장, 많은 사람들이 배우지 않아요. 왜냐하면 배우기는 어렵기 때문이에요. 자료에서 튕겨나가요. 어떤 사람들은 그 장벽을 극복하지만, 대부분의 사람들에게는 어려워요. 그건 해결할 기술적 문제예요. 한국어를 배우고 있었을 때 제 튜터가 저를 위해 한 걸 하는 건 해결할 기술적 문제예요. 다루기 쉽고 만들 수 있고, 누군가 그걸 만들어야 해요. 그건 어떤 걸 배우는 걸 사소하고 바람직하게 만들 거고, 사람들은 재미로 그걸 할 거예요. 왜냐하면 사소하기 때문이에요. 임의의 지식 조각에 대해 그런 튜터를 가졌다면, 어떤 것이든 배우기가 훨씬 더 쉬울 거고, 사람들은 그걸 할 거예요. 그들은 체육관에 가는 것과 같은 이유로 그걸 할 거예요.

Dwarkesh Patel 02:09:17

그건 다르게 들려요... 그래서 AGI 이후에, 당신은 이걸 오락이나 자기 향상으로 사용하고 있어요. 하지만 이 교육이 인류가 AI를 통제하도록 유지하는 것과 관련이 있다는 비전도 있는 것처럼 들렸어요. 그건 다르게 들려요. 일부 사람들에게는 오락이지만, 다른 일부에게는 권한 부여인가요? 어떻게 생각하세요?

Andrej Karpathy 02:09:41

그게 결국 약간 패배 게임이라고 생각해요, 그게 말이 된다면요. 장기적으로는 그래요. 아마도 대부분의 산업 사람들이 생각하는 것보다 더 긴 장기적으로는, 패배 게임이에요. 사람들은 그렇게 멀리 갈 수 있다고 생각하고 우리는 사람이 얼마나 멀리 갈 수 있는지의 표면을 거의 긁지 못했어요. 그건 그냥 사람들이 너무 쉽거나 너무 어려운 자료에서 튕겨나가기 때문이에요. 사람들은 훨씬 더 멀리 갈 수 있을 거예요. 누구나 다섯 개의 언어를 말할 거예요. 왜냐하면 왜 안 되겠어요? 너무 사소하기 때문이에요. 누구나 학부의 모든 기본 커리큘럼을 알 거예요, 등등.

Dwarkesh Patel 02:10:18

이제 비전을 이해하고 있는데, 매우 흥미롭네요. 체육관 문화와 완벽한 비유가 있어요. 100년 전에는 아무도 근육질이지 않았을 거라고 생각하지 않아요. 아무도 자발적으로 벤치 프레스 두 판이나 세 판을 들어올릴 수 없었을 거예요. 체계적으로 훈련하고 체육관에서 역도를 하거나, 마라톤을 뛸 수 있도록 체계적으로 훈련한다는 이 아이디어 때문에 지금은 매우 흔해요. 그건 대부분의 인간이 자발적으로 갖지 못할 능력이에요. 많은 다른 도메인에 걸쳐 학습에 대해서도 유사한 것들을 상상하고 계시는 거군요, 훨씬 더 집중적으로, 깊게, 더 빠르게요.

Andrej Karpathy 02:10:54

정확히요. 저는 인간 본성의 영원성에 약간 베팅하고 있어요. 이런 모든 것들을 하는 게 바람직할 거고, 사람들이 수천 년 동안 그래왔듯이 그걸 우러러볼 거라고 생각해요. 이건 계속 사실일 거예요. 그것에 대한 몇 가지 증거가 역사적으로 있어요. 예를 들어, 귀족들을 보거나, 고대 그리스를 보거나 그런 걸 보면, 특정 의미에서 AGI 이후였던 작은 주머니 환경들을 가졌을 때마다, 사람들은 신체적으로나 인지적으로 특정 방식으로 번영하는 데 많은 시간을 보냈어요. 저는 그것의 전망에 대해 괜찮다고 느껴요.

만약 이게 거짓이고 제가 틀렸고 우리가 월-E나 이디오크라시 미래에 끝난다면, 다이슨 구체가 있는지 신경 쓰지도 않아요. 이건 끔찍한 결과예요. 저는 정말로 인류를 신경 써요. 모든 사람이 특정 의미에서 초인간이어야만 해요.

Dwarkesh Patel 02:11:52

그건 여전히... 그건 근본적으로 우리가... 문화 세계 같은 거죠, 맞나요? 당신은 근본적으로 기술의 궤적을 변환하거나 자신의 노동이나 인지만으로 결정에 영향을 미칠 수 없을 세상이에요. 아마도 AI가 당신의 승인을 요청하기 때문에 결정에 영향을 미칠 수 있지만, 제가 뭔가를 발명했거나 새로운 디자인을 생각해냈기 때문에 제가 정말로 미래에 영향을 미치고 있는 건 아니에요.

Andrej Karpathy 02:12:21

아마도요. 많은 것들을 이해한다면 우리가 루프에 있고 일들을 발전시킬 수 있을 전환기가 있을 거라고 생각해요. 장기적으로, 그건 아마도 사라질 거예요. 인지 시대에 파워리프팅이 뭔지 스포츠가 될 수도 있어요. 아마도 정말로 것들을 아는 것의 올림픽을 만들려고 극단적으로 가는 사람들일 거예요. 만약 완벽한 AI 튜터를 가진다면, 아마도 극도로 멀리 갈 수 있어요. 오늘날의 천재들은 인간의 마음이 할 수 있는 것의 표면을 거의 긁지 못하고 있다고 느껴요.

Dwarkesh Patel 02:12:59

저는 이 비전을 사랑해요. 또한 당신이 가장 제품-시장 적합성을 가진 사람이 저라고 느껴요. 왜냐하면 제 직업은 매주 다른 주제들을 배워야 하는 걸 포함하고, 저는 매우 흥분하거든요.

Andrej Karpathy 02:13:17

저도 비슷해요. 많은 사람들이, 예를 들어, 학교를 싫어하고 거기서 나가고 싶어해요. 저는 정말로 학교를 좋아했어요. 것들을 배우는 걸 사랑했어요, 등등. 학교에 머물고 싶었어요. 박사 과정까지 계속 머물렀고 그런 다음 더 이상 머물게 해 주지 않아서, 산업계로 갔어요. 대략적으로 말해서, 저는 배우는 걸 사랑해요, 배움 자체를 위해서도, 하지만 또한 배우는 걸 사랑해요. 왜냐하면 그건 권한 부여의 한 형태이고 유용하고 생산적이기 때문이에요.

Dwarkesh Patel 02:13:39

당신은 또한 미묘한 지적을 했는데 철자로 쓰고 싶어요. 지금까지 온라인 코스들로 일어난 일로, 왜 그것들이 이미 모든 단일 인간이 모든 걸 알 수 있게 하지 못했나요? 그것들은 그냥 너무 동기 부하적이에요. 왜냐하면 명백한 램프가 없고 막히기가 너무 쉽기 때문이에요. 대신 이것—정말 좋은 인간 튜터 같은 것—을 가졌다면, 동기 관점에서 그냥 그런 잠금 해제가 될 거예요.

Andrej Karpathy 02:14:10

그렇다고 생각해요. 자료에서 튕겨나가는 건 기분이 나빠요. 기분이 나빠요. 뭔가에 시간을 쏟았는데 결실을 맺지 못하거나, 얻고 있는 게 너무 쉽거나 너무 어려워서 완전히 지루할 때 부정적 보상을 얻어요. 제대로 할 때, 배우는 건 기분이 좋아요. 거기에 도달하는 건 기술적 문제예요. 한동안, AI 플러스 인간 협업이 될 거고, 어느 시점에, 아마도 그냥 AI일 거예요.

Dwarkesh Patel 02:14:36

잘 가르치는 것에 대한 몇 가지 질문을 할 수 있을까요? 당신이 궁금해하는 다른 분야의 다른 교육자에게 당신이 만든 종류의 YouTube 튜토리얼을 만들라고 조언해야 한다면. 누군가의 기술적 이해를 코드를 작성하게 하거나 그런 걸로 테스트할 수 없는 도메인에 대해 이야기하는 게 특히 흥미로울 수 있어요. 어떤 조언을 하시겠어요?

Andrej Karpathy 02:14:58

그건 꽤 광범위한 주제예요. 제가 반의식적으로 하는 10-20개의 팁과 트릭들이 있을 거예요. 하지만 이것의 많은 부분은 제 물리학 배경에서 와요. 저는 정말로, 정말로 제 물리학 배경을 즐겼어요. 초기 학교 교육에서 모든 사람이 물리학을 배워야 하는 이유에 대해 긴 이야기가 있어요. 왜냐하면 초기 학교 교육은 나중에 산업에서 작업을 위한 지식이나 기억을 축적하는 것에 관한 게 아니기 때문이에요. 뇌를 부팅하는 것에 관한 거예요. 물리학이 뇌를 가장 잘 부팅해요. 왜냐하면 물리학에서 뇌에서 하게 하는 것들 중 일부가 나중에 극도로 가치 있기 때문이에요.

모델과 추상화를 만드는 아이디어와 시스템의 대부분을 설명하는 1차 근사가 있지만, 2차, 3차, 4차 항들이 있을 수도 있고 없을 수도 있다는 걸 이해하는 것. 매우 노이즈가 많은 시스템을 관찰하고 있지만, 추상화할 수 있는 이런 근본적인 주파수들이 있다는 아이디어. 물리학자가 수업에 들어와서 "구형 소가 있다고 가정하자"고 말할 때, 모든 사람이 그것에 대해 웃지만, 이건 훌륭해요. 많은 방식에서 소를 구로 근사할 수 있기 때문에 산업 전체에 걸쳐 매우 일반화 가능한 훌륭한 사고예요.

예를 들어, 정말 좋은 책이 있어요, Scale. 생물학에 대해 이야기하는 물리학자가 쓴 책이에요. 아마도 이것도 읽기를 추천할 책이에요. 동물들의 정말 흥미로운 근사들을 얻고 동물들의 스케일링 법칙을 차트로 만들 수 있어요. 그들의 심박수를 보고 그런 것들을, 그것들이 동물의 크기와 그런 것들과 일치해요. 동물을 부피로 이야기할 수 있어요. 그것의 열 발산에 대해 이야기할 수 있어요. 왜냐하면 열 발산은 표면적으로 증가하는데, 제곱으로 증가하기 때문이에요. 하지만 열 생성이나 발생은 세제곱으로 증가하고 있고요. 그래서 저는 그냥 물리학자들이 세상에서 문제 해결에 접근하는 모든 올바른 인지 도구들을 갖고 있다고 느껴요.

그 훈련 때문에, 저는 항상 모든 것의 1차 항이나 2차 항을 찾으려고 노력해요. 시스템이나 걸 관찰할 때, 제 마음속에 아이디어나 지식의 웹의 얽힘이 있어요. 중요한 게 뭔지 찾으려고 노력하고 있어요. 1차 구성 요소는 뭔가요? 어떻게 단순화할 수 있나요? 그걸 보여주는 가장 간단한 걸 어떻게 가질 수 있나요, 그걸 실제로 보여주고, 그런 다음 다른 항들을 추가할 수 있나요?

그걸 잘 보여준다고 생각하는 제 저장소 중 하나의 예는 micrograd라고 불려요. 이것에 익숙한지 모르겠어요. micrograd는 역전파를 보여주는 100줄의 코드예요. 더하기와 곱하기 같은 간단한 연산들로부터 신경망을 만들 수 있어요. 신경망의 레고 블록들이요. 계산 그래프를 구축하고 순방향 패스와 역방향 패스를 해서 기울기를 얻어요. 이제, 이건 모든 신경망 학습의 핵심이에요.

그래서 micrograd는 100줄의 꽤 해석 가능한 Python 코드이고, 임의의 신경망들에 대해 순방향과 역방향을 할 수 있지만, 효율적이지는 않아요. 그래서 micrograd, 이 100줄의 Python은 신경망이 어떻게 훈련되는지 이해하는 데 필요한 모든 거예요. 다른 모든 건 그냥 효율성이에요. 효율성을 얻기 위해 엄청난 양의 작업이 있어요. 텐서가 필요하고, 배치하고, 스트라이드하고, 커널을 만들고, 메모리 이동을 올바르게 조율하는 것, 등등. 모두 그냥 효율성이에요, 대략적으로 말해서요. 하지만 신경망 훈련의 핵심 지적 조각은 micrograd예요. 100줄이에요. 쉽게 이해할 수 있어요. 그건 기울기를 도출하기 위한 연쇄 법칙의 재귀적 적용이에요. 그건 임의의 미분 가능한 함수를 최적화할 수 있게 해 줘요.

그래서 저는 이런 작은 차수 항들을 찾아서 접시에 담아 제공하고 발견하는 걸 사랑해요. 교육이 가장 지적으로 흥미로운 거라고 느껴요. 왜냐하면 이해의 얽힘을 갖고 있고 모든 게 그 전의 것에만 의존하는 램프를 만드는 방식으로 그걸 배치하려고 노력하고 있기 때문이에요. 지식의 이 얽힘을 푸는 게 인지 작업으로서 그냥 너무나 지적으로 흥미롭다는 걸 발견해요. 저는 개인적으로 그걸 하는 걸 사랑하지만, 특정 방식으로 것들을 배치하려고 노력하는 것에 대한 매혹이 있어요. 아마도 그게 저를 도와줘요.

Dwarkesh Patel 02:18:41

그건 또한 학습 경험을 훨씬 더 동기 부여되게 만들어요. 트랜스포머에 대한 당신의 튜토리얼은 바이그램으로 시작해요, 문자 그대로 조회 테이블이에요, "여기 지금 단어가 있다, 또는 여기 이전 단어가 있다, 여기 다음 단어가 있다." 문자 그대로 그냥 조회 테이블이에요.

Andrej Karpathy 02:18:58

그것의 본질이죠, 네.

Dwarkesh Patel 02:18:59

조회 테이블로 시작해서 트랜스포머로 가는 건 정말 훌륭한 방법이에요. 각 조각이 동기 부여돼요. 왜 그걸 추가하겠어요? 왜 다음 걸 추가하겠어요? 어텐션 공식을 암기할 수도 있지만, 모든 단일 조각이 왜 관련이 있는지, 어떤 문제를 해결하는지 이해하는 걸 갖는 거예요.

Andrej Karpathy 02:19:13

해결책을 제시하기 전에 고통을 제시하고, 그게 얼마나 영리한가요? 학생을 그 진행을 통해 데려가고 싶어요. 좋고 매력적이고 흥미롭게 만드는 다른 작은 것들이 많이 있어요. 항상 학생에게 프롬프트를 줘요.

좋은 교육자들이 할 이것처럼 중요한 많은 다른 작은 것들이 있어요. 어떻게 이걸 해결하시겠어요? 제가 추측하기 전에 해결책을 제시하지 않을 거예요. 그건 낭비일 거예요. 그건 약간의... 욕하고 싶지 않지만 제가 해결책을 제시하기 전에 당신에게 직접 시도해 볼 기회를 주지 않는 건 당신을 향한 나쁜 행동이에요.

Dwarkesh Patel 02:19:51

왜냐하면 스스로 생각해내려고 노력하면, 행동 공간이 뭔지, 목표가 뭔지, 그런 다음 왜 이 행동만이 그 목표를 충족하는지에 대한 더 나은 이해를 얻기 때문이에요.

Andrej Karpathy 02:20:03

스스로 시도할 기회가 있고, 제가 해결책을 줄 때 감사하게 돼요. 추가된 새로운 사실당 지식의 양을 최대화해요.

Dwarkesh Patel 02:20:11

왜 기본적으로, 자신의 분야에서 진정한 전문가인 사람들이 종종 그걸 습득하고 있는 누군가에게 설명하는 데 나쁜가요?

Andrej Karpathy 02:20:24

전문성과 지식의 저주예요. 이건 실제 현상이고, 저도 제가 노력하는 만큼이나 그것으로 고통받아요. 특정 것들을 당연하게 여기고, 막 시작하는 새로운 사람들의 입장에 자신을 놓을 수 없어요. 이건 널리 퍼져 있고 저에게도 일어나요.

매우 도움이 되는 한 가지. 예를 들어, 누군가 최근에 생물학의 논문을 보여주려고 했고, 저는 즉시 너무나 많은 끔찍한 질문들을 가졌어요. 제가 한 건 ChatGPT를 사용해서 맥락 윈도우에 논문을 넣고 질문들을 하는 거였어요. 간단한 것들 중 일부를 해결했어요. 그런 다음 그 논문을 작성했거나 그 작업을 한 사람에게 스레드를 공유했어요. 제가 가진 멍청한 질문들을 볼 수 있다면, 미래에 더 잘 설명하는 데 도움이 될 수 있다고 느꼈어요.

제 자료에 대해서, 제가 만든 것들에 대한 ChatGPT와의 멍청한 대화들을 사람들이 공유한다면 정말 좋아할 거예요. 왜냐하면 그게 제가 다시 시작하는 사람의 입장에 자신을 놓는 데 정말로 도움이 되기 때문이에요.

Dwarkesh Patel 02:21:19

놀랍도록 잘 작동하는 또 다른 트릭이 있어요. 누군가 논문을 쓰거나 블로그 게시물을 쓰거나 발표를 하면, 점심 때 그들이 어떻게 설명할지의 서술이나 녹취록이 훨씬 더, 이해 가능할 뿐만 아니라 실제로 더 정확하고 과학적이기도 해요. 100% 경우에서요. 사람들이 가능한 한 가장 추상적이고, 전문 용어로 가득 찬 방식으로 것들을 설명하고, 중심 아이디어를 설명하기 전에 네 단락 동안 목을 가다듬는 편향을 가지고 있다는 의미에서요. 하지만 누군가와 일대일로 소통할 때는 그냥 말하고 싶은 것을 말하게 만드는 무언가가 있어요.

Andrej Karpathy 02:22:07

그냥 말하세요. 그 트윗을 봤는데, 정말 좋다고 생각했어요. 많은 사람들과 공유했어요. 이걸 여러 번, 여러 번 느꼈어요.

가장 두드러진 예는 제 박사 과정 시절에 연구를 하던 걸 기억해요. 누군가의 논문을 읽고, 그게 뭘 하고 있는지 이해하기 위해 노력해요. 그런 다음 나중에 컨퍼런스에서 맥주를 마시면서 그들을 만나고, 물어봐요, "그래서 이 논문, 뭘 하고 있었나요? 논문이 뭐에 관한 거죠?"

그들은 그냥 그 논문의 본질을 완벽하게 포착하고 아이디어를 완전히 주는 세 문장을 말할 거예요. 그리고 논문을 읽을 필요가 없었어요. 그건 맥주나 그런 것과 함께 테이블에 앉아 있을 때만이고, 그들은 "오 네, 논문은 그냥, 이 아이디어를 가져가고, 저 아이디어를 가져가서 이 실험을 시도하고 이걸 시도해요"라고 해요. 그들은 대화적으로 완벽하게 그걸 놓는 방법을 갖고 있어요. 왜 그게 초록이 아닌가요?

Dwarkesh Patel 02:22:51

정확히요. 이건 아이디어를 설명하려는 누군가가 어떻게 더 잘 공식화해야 하는지의 관점에서 와요. 학생으로서 다른 학생들에게 당신의 조언은 뭔가요, Karpathy가 아이디어의 설명을 하고 있는 사람이 없다면? 누군가로부터 논문을 읽고 있거나 책을 읽고 있다면, 전문가가 아닌 분야에서 관심 있는 자료를 배우기 위해 어떤 전략을 사용하나요?

Andrej Karpathy 02:23:20

독특한 팁과 트릭들을 갖고 있는지 모르겠어요, 솔직히요. 고통스러운 과정이에요. 제게 항상 꽤 도움이 되었던 한 가지는—이것에 대한 작은 트윗을 했는데-필요에 따라 배우는 게 꽤 좋아요. 깊이 우선으로 배우기. 깊이 우선으로, 필요에 따라 배우는 것—보상을 얻을 특정 프로젝트를 달성하려고 노력하고 있어요—과 폭 우선으로 배우는 것, 즉 "오, 뭐든 101을 하자, 그리고 여기 필요할 수도 있는 모든 것들이 있다"의 약간의 교대가 필요하다고 느껴요. 그게 많은 학교가 하는 거예요—폭 우선 학습을 해요, "오, 믿어주세요, 나중에 이게 필요할 거예요" 같은 것들요. 좋아요, 믿겠어요. 필요하니까 배우겠어요. 하지만 저는 뭔가를 하는 것으로부터 보상을 얻을 종류의 학습을 좋아하고, 필요에 따라 배우고 있어요.

제가 극도로 도움이 된다고 발견한 다른 것. 이건 교육이 약간 더 이타적인 측면인데, 사람들에게 것들을 설명하는 건 뭔가를 더 깊이 배우는 아름다운 방법이에요. 이건 제게 항상 일어나요. 다른 사람들에게도 아마도 일어날 거예요. 왜냐하면 뭔가를 정말로 이해하지 못한다면, 설명할 수 없다는 걸 깨닫기 때문이에요. 노력하고 있고 "오, 이걸 이해하지 못한다"라고 해요. 그것과 마주하는 게 너무나 성가셔요. 돌아가서 이해했는지 확인할 수 있어요. 이해의 이런 격차들을 채워요. 그것들과 마주하도록 강요해요. 그것들을 조화시키도록 강요하고요.

저는 무언가를 다시 설명하는 걸 좋아하는데, 다른 사람들도 그렇게 해야 해요. 그러면 지식을 조작해야 하고, 설명할 때 무슨 말을 하는지 확실히 이해해야 하거든요.

Dwarkesh Patel 02:24:48

마무리하기 딱 좋은 글이네요. Andrej, 훌륭했어요.

Andrej Karpathy 02:24:51

감사합니다.

[GN⁺]

Hacker News 의견

• 내가 생각하기에 AI 발전을 '마치 9의 행진처럼' 보는 방식이 중요하다고 봄. 각각의 9%를 추가할 때마다 동일한 양의 노력이 필요함. 90%짜리 데모 버전을 만들었다면, 이제 두 번째 9%, 세 번째 9% 등 계속 쌓아서 가야 하는 것. Tesla에서 5년 근무했을 때도 이런 반복적인 과정을 여러 번 경험함. 아직도 갈 길이 많이 남았음. AI 발전은 흔히 어떤 고정된 벤치마크에서는 역량이 기하급수적으로 증가해 보이지만, 다음 단계로 넘어갈 때의 난이도 또한 기하급수적으로 증가하니까 장기적으로는 선형적 개선처럼 보임

  • 최근 Rich Sutton의 인터뷰를 보았을 때, AGI가 단순히 9%를 추가적으로 쌓는 문제만은 아니라는 생각이 듦. 인터뷰어는 언어 이해에는 세상의 모델이 있어야 한다고 전제했지만, Sutton은 그 전제를 바로 부정했음. 그 회의적 태도에 동의할 수도 있을 것 같음

  • 이 이야기는 마치 마라톤에 관한 오래된 격언을 떠올리게 함. 마라톤은 두 부분으로 이루어져 있는데, 처음 20마일과, 평생 가장 몸이 아프고 피곤한 상태에서 달리는 마지막 10km라는 식임

  • 저자의 비유가 마음에 듦. 하지만 어느 시점부터는 AI 자체가 발전을 돕는 역할을 하게 되고, 이 점이 예전 도메인 특화 ML이나 다른 시스템과는 결정적으로 다름. 이런 이유로 향후 2년 안에 급격한 가속이 일어날 수 있을 것이라 기대함

  • 나도 자주 작업의 첫 90%를 끝내고, 그 다음 90%로 넘어간다고 농담처럼 말하곤 함

  • 이런 사고방식은 여러 곳에 적용 가능함. 이른바 Pareto 효율성, 즉 80/20 법칙처럼 20%의 노력이 전체 작업의 80%를 이룸. 하지만 남은 20%를 끝내는 데 대부분의 시간이 들어감. 이 원리는 반복적으로 적용됨. 최근 IT 분야에서도 이런 현상이 두드러짐. 빠르게 움직이고 실험하는 방법이 대다수 구간에는 좋지만, 그 과정에서 많은 문제들이 누적되어 결국 누군가는 정리와 검토 역할이 필요함. 각 작은 문제들은 모여서 큰 문제가 됨. 99.9%의 시스템 가동률이라 해도 연간 9시간 다운타임이 발생하고, 10억 건 중 100만 건의 사례는 무시할 수 없는 규모임. 기술의 확장성 덕분에 분야가 빠르게 성장했지만, 동시에 그늘도 커짐. 평균 이상의 실력은 노력만 해도 쉽게 도달하지만, 누군가의 실력이 어느 분야에서는 실제로는 마스터에 훨씬 못 미칠 수 있음. 1억 달러를 가진 사람이 빌리어네어보다 오히려 노숙인과 더 가까운 부의 거리인 것처럼, 우리의 감각은 곡선적임

• AI 연구자들과 컴퓨터 과학자들이 인간의 뇌와 AI, 컴퓨터를 비교하기 시작할 때마다 묘한 기분을 느낌. 컴퓨터 과학만 공부한 우리가 생물학, 신경과학, 진화론 등에 대해 충분한 지식이 있다고 생각하는 건 왜일까 궁금함. 이런 논의 자체는 흥미롭지만, 마음 한쪽에는 '지금 신경과학 얘기하는 CS 전공생 두 명 얘기를 듣고 있다는 걸 잊지 말자'는 생각이 듦

  • AI 분야에서 이런 얘기와 그 용어 자체를 아예 없애야 한다고 생각함. 대중에게 끝없는 혼란만 초래함. 실제 LLM의 본질은 단순히 행렬을 훈련시켜 다음 토큰을 예측하는 것임. AGI, Roko's basilisk, 인간 의식 같은 이야기를 끌어올 필요 없이 이 개념만으로도 충분히 설명 가능함

  • 왜 이런 전제가 생기는지에 대해 답을 하자면, 그건 '오만함'임

  • 사실 논리적으로 생각해보면, '완벽하게 구형이고 마찰이 0인 뇌'부터 상상한다는 농담이 있음

  • 나도 학부 시절 같은 비교를 하곤 했는데, 결국 뇌가 X를 한다면 컴퓨터도 언뜻 비슷한 X를 하고, 아니면 Y와 Z같은 단계로 X를 재현할 수 있지 않을까 하는 개념적 모델에 기대게 되는 것임. 하지만 뇌가 엄청나게 복잡하고 화학적 기계라는 걸 알게 된 후부터 이런 비교에 더 회의적이게 됨

  • AI와 신경과학은 특히 예전 연구자들 사이에서는 겹치는 부분이 많음. 예를 들어 Karpathy의 지도교수 Fei-Fei Li는 고양이 뇌의 시각을 연구하다 컴퓨터 비전으로 넘어갔고, Demis Hassabis는 계산신경과학 박사 학위가 있음, Geoff Hinton도 심리학을 공부함. 강화학습-의사결정 학회(RLDM)는 강화학습과 신경과학을 연계하여 두 분야의 전문가가 교류함. 실제로 평균적인 AI 연구자들은 컴퓨터 과학 전공생보다 뇌에 대해 훨씬 많이 알 가능성이 높지만, 연구를 하기에는 여전히 전문성이 부족할 수 있음

• 최신 LLM/AI의 근본적 한계라면, 주로 추상화된 데이터에 초점을 맞추어 인간의 논리적 추론을 담당하는 전전두엽을 모방하도록 훈련됨. 그러나 인간의 실제 판단은 감정과 직관 중심인 변연계의 활동에 의해 이뤄짐. 즉, 대부분의 경우 우리는 '이유를 알기 전에 뭔가를 먼저 하고', 그 행위 뒤에 전전두엽이 스토리를 맞춘다는 것임. 결과적으로 LLM이 인간 현실을 처리하는 방식과는 전혀 다른 위치에서 일부 신경활동 형태만을 흉내내고 있는 셈임

• 나는 지금 이 메시지를 읽고 있는 누구의 일생에서도 AGI는 등장하지 않을 것에 내 전재산을 걸 용의가 있음. 이 글을 훗날 접하게 될 미래의 독자들 인생까지 포함해서 말임. 정말로 이 내기를 어떻게 입증할 수 있을지가 흥미로운 질문임

  • 왜 그런 생각을 하는지 구체적인 이유가 궁금함. 매일 Hacker News 읽을 때마다 AGI에 대한 예측이 진지한 논리성도 없이 쏟아지는 것 같아 당혹스러움. 나는 뭐가 일어날지 정말 모름

  • 그 내기가 실제로 성립하려면, Polymarket 같은 예측 시장에서 진짜 돈을 걸어야 함. 다만 AGI의 구체적 정의부터 합의가 필요함. 상대가 유리한 쪽으로 정의내리면 그 내기가 승산이 없어짐

  • 실제로 자신의 재산을 걸 생각이라면, 현금화가 거의 불가능한 거래이므로 현실적으로는 예측시장에 넣어두는 게 답임. Polymarket에는 AGI 관련 내기들이 많음

  • 그냥 Nvidia 주식을 공매도 하는 게 현실적일 수도 있음

  • 에스크로(관계자 사이에서 자금을 맡아두는 제도) 활용 발언임

• 나도 한마디 덧붙이자면, 우리는 여전히 '지능이라는 것이 무엇이고, 어떻게 작동하는지'에 대해 도식적인 수준의 이해도 갖지 못했다고 생각함. 의식과 지능이 어떻게 연결되는지조차도 불명확함. 이런 상황에서 AGI나 AI에 대한 논의, 심지어 예측까지 상당 부분 근거가 약해짐. 정작 지능이 뭔지조차 모르면서 인공지능을 정의한다는 건 어불성설임

  • 지능이나 의식을 정의하는 게 너무 어려운 이유는, 우리가 샘플 1개(인간)에만 완전히 의존해 있고, 거기에 근거 없는 신비주의까지 덧씌워서임. 관련 참고글: https://bower.sh/who-will-understand-consciousness

  • 이 부분 정말 절실히 공감함. 우리는 무척추동물의 의식조차 모델링하지 못하고 있고, '마음'에 대한 제대로 된 이론도 없음. 결국 AI는 이해하는 척 흉내만 내고 있을 뿐, 실제 지능과는 거리가 멀다고 생각함

• 만약 인터뷰 기록이 정확하다면, Karpathy는 이 인터뷰 어디서도 AGI가 10년 안에 온다고 말하지 않았고, 언제 AGI가 도래하리라는 구체적 주장도 하지 않았음. Patel의 제목이 실제 내용과 다르게 오해를 불러일으키는 셈임

  • Sutton 관련해서도 마찬가지임. Sutton이 "LLM은 종착역이다"라고 했다거나 하는 발언이 실제 대화에 없었는데도, 이런 식으로 해석되어버림

• vibe coding(분위기 코딩)과 자동완성 기능을 비교해보면, 현 LLM 모델들은 인지적 결함이 많음. 예를 들어, 코드의 일반적인 작성 방식에 너무 익숙하게 훈련돼 있어서 내가 취하지 않은 방식은 자꾸 오해함. 그리고 내가 원하는 걸 영어로 일일이 타이핑하는 게 너무 번거롭고, 원하는 코드 위치에 가서 몇 글자만 입력하면 자동완성이 바로 코드를 추천해줌. 그런데 모델들은 코드베이스를 너무 복잡하게 만들고, 불필요한 코드와 오래된 API를 자꾸 쓰는 등, 전체적으로 도움이 되는지 모르겠음

• 앞으로 실업률 50%에 달하는 세상에서도 여전히 '이게 진짜 AGI인가'를 논쟁하고 있을 것 같음

• AGI가 목표라는 점 자체가 이상하게 느껴짐. AI라는 용어도 부정확하고 본질에 맞지 않음. LLM은 인공지능이 아니며, 심지어 아주 큰 LLM이라 해도 마찬가지임. 그럼에도 불구하고 language model은 매우 유용하며 잠재적으로 혁신적인 기술임. LLM을 AI라 부르는 건 가치의 과대평가이자 과소평가이기도 함. 인공지능이 아니라는 점이 실망스러울 필요는 없고, 여전히 대단한 기술임

  • 이 용어가 혼란을 줌. 과거에는 AI가 체스 초급 인공지능이나 이미지 분류기, 비디오게임 캐릭터 AI 등 모든 종류의 기계지능을 의미했음. 하지만 요즘 많은 사람이 AI와 AGI(인간 수준의 지능)를 동일시함

• Nvidia가 최대 시가총액 기업이 된 지금, AGI에 대한 진짜 논의는 엄청난 자본의 '하이프 트레인'에 묻혀버린 상황임. 관련 기업 가치 대부분이 가까운 미래에 AGI가 실현될 것이라는 믿음에 기반해 있음. AGI가 너무 가깝게 느껴지면 현재 선도 기업이 시장을 독식할 것 같고, 너무 멀면 투자와 지출이 지속 불가능해 보일 수 있음

  • 진짜 기업가치는 AGI 실현 기대 때문이기보다는, 사무직 자동화 등으로 기업들이 중산층 임금을 절약하기 위해 AI기술에 큰돈을 쏟아붓는 현상에 더 기대는 것일 수 있음

  • AGI가 아니더라도 AI만으로도 엄청난 경제적 가치가 창출 가능함

  • 맞음. AGI 5~10년이라는 내러티브와 결합해서, 마치 우주개발 경쟁처럼 중국과의 기술전쟁을 빌미로 '수조 달러'의 투자가 필요하다고 주장하는 거임. 2024년에도 이런 얘기가 뉴스에 나왔음: https://cnbc.com/2024/02/…