GN⁺: Andrej Karpathy - ChatGPT와 같은 LLMs 심층 분석 [비디오]
(youtube.com)- 일반 사용자를 대상으로 ChatGPT 및 관련 제품을 구동하는 대규모 언어 모델(LLM) AI 기술에 대해 심층적으로 설명한 영상 (3시간 31분)
- 모델이 어떻게 개발되는지에 대한 전체 학습 스택과 함께 모델의 '심리'에 대해 생각하는 방법, 실제 애플리케이션에서 모델을 최대한 활용하는 방법에 대한 멘탈 모델을 다룸
- 1년전에 공개한 "Intro to LLMs" 비디오보다 좀 더 포괄적인 버전
챕터
00:00:00 introduction
00:01:00 pretraining data (internet)
00:07:47 tokenization
00:14:27 neural network I/O
00:20:11 neural network internals
00:26:01 inference
00:31:09 GPT-2: training and inference
00:42:52 Llama 3.1 base model inference
00:59:23 pretraining to post-training
01:01:06 post-training data (conversations)
01:20:32 hallucinations, tool use, knowledge/working memory
01:41:46 knowledge of self
01:46:56 models need tokens to think
02:01:11 tokenization revisited: models struggle with spelling
02:04:53 jagged intelligence
02:07:28 supervised finetuning to reinforcement learning
02:14:42 reinforcement learning
02:27:47 DeepSeek-R1
02:42:07 AlphaGo
02:48:26 reinforcement learning from human feedback (RLHF)
03:09:39 preview of things to come
03:15:15 keeping track of LLMs
03:18:34 where to find LLMs
03:21:46 grand summary
Hacker News 의견
-
이 사람에 대한 존경이 큼. 그는 인간과 기계 사이의 간극을 메우는 네오와 같음. 그의 저장소와 비디오에서 무료로 배운 것들:
- minGPT, nanoGPT (transformers)
- NLP (더 많은 시리즈 제작)
- tokenizers (그의 유튜브)
- RNN (그의 블로그)
- 많은 분야에 karpathy 같은 사람이 없고, 우리는 그들에 대해 듣지 못함. 이 사람이 ML에 대한 직관을 전파해줘서 기쁨
-
친구들에게 Andrej가 내가 대학원에서 만난 최고의 강사였다고 말함. Stanford에 가지 않았지만 그의 CS321n 유튜브 비디오를 봄. 그가 여전히 비디오를 만들고 있어 매우 기쁨
-
그는 transformer 아키텍처와 훈련에 대해 기본적으로 같은 주제를 다룬 비디오를 5개 이상 만듦. 이번 비디오는 무엇이 다른지 궁금함
-
그의 "let's build" 시리즈를 정말 좋아함. 고급 콘텐츠 외에도 멋진 Python 트릭을 배우게 됨
-
긴 형식의 비디오에 집중할 수 없어서 좌절함. 이 비디오들이 짧은 비디오보다 훨씬 나을 가능성이 큼
-
CS231n 프로젝트의 일부로 Python 리스트를 사용하여 역전파하는 방법을 여전히 기억함. 놀라운 점은 Stanford에 가지 않았다는 것임
-
Andrej에게 감사함. LLM이 어떻게 작동하고 훈련되는지에 대한 꽤 좋은 이해를 가지고 있지만, 많은 친구들은 그렇지 않음. 이 비디오와 강연이 그들에게 '어떤' 아이디어를 줌
-
비디오를 배포할 다른 방법이 있었으면 좋겠음. 유튜브에서 콘텐츠가 결국 사라짐. 이 콘텐츠는 중요하다고 생각함. 더 많은 사람들이 AI가 어떻게 작동하는지 알수록 사회가 더 강력해질 것임
-
전체를 다 봄... 볼이 잠들었지만 그럴 가치가 있었음. Andrej에게 감사함
-
나는 단순한 사람임. Karpathy 비디오를 보면 클릭하고 보고 즐김