# Andrej Karpathy - ChatGPT와 같은 LLMs 심층 분석 [비디오]

> Clean Markdown view of GeekNews topic #19102. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19102](https://news.hada.io/topic?id=19102)
- GeekNews Markdown: [https://news.hada.io/topic/19102.md](https://news.hada.io/topic/19102.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2025-02-07T09:43:37+09:00
- Updated: 2025-02-07T09:43:37+09:00
- Original source: [youtube.com](https://www.youtube.com/watch?v=7xTGNNLPyMI)
- Points: 13
- Comments: 2

## Summary

Andrej Karpathy가 찍은 새 영상으로 일반 사용자를 대상으로 ChatGPT와 같은 대규모 언어 모델(LLM) AI 기술에 대해 심층적으로 설명하며, 모델 개발 과정과 실제 애플리케이션에서의 활용 방법을 다룹니다. 또한, 모델의 학습 스택, 토큰화, 신경망 입출력, 추론 과정, 강화 학습 등 다양한 주제를 포괄적으로 설명합니다. 이 영상은 이전에 공개된 "Intro to LLMs" 비디오보다 더 포괄적인 내용을 다룹니다.

## Topic Body

- 일반 사용자를 대상으로 ChatGPT 및 관련 제품을 구동하는 대규모 언어 모델(LLM) AI 기술에 대해 심층적으로 설명한 영상 (3시간 31분)  
- 모델이 어떻게 개발되는지에 대한 전체 학습 스택과 함께 모델의 '심리'에 대해 생각하는 방법, 실제 애플리케이션에서 모델을 최대한 활용하는 방법에 대한 멘탈 모델을 다룸   
- 1년전에 공개한 "Intro to LLMs" 비디오보다 좀 더 포괄적인 버전   
### 챕터  
00:00:00 introduction  
00:01:00 pretraining data (internet)  
00:07:47 tokenization  
00:14:27 neural network I/O  
00:20:11 neural network internals  
00:26:01 inference  
00:31:09 GPT-2: training and inference  
00:42:52 Llama 3.1 base model inference  
00:59:23 pretraining to post-training  
01:01:06 post-training data (conversations)  
01:20:32 hallucinations, tool use, knowledge/working memory  
01:41:46 knowledge of self  
01:46:56 models need tokens to think  
02:01:11 tokenization revisited: models struggle with spelling  
02:04:53 jagged intelligence  
02:07:28 supervised finetuning to reinforcement learning  
02:14:42 reinforcement learning  
02:27:47 DeepSeek-R1  
02:42:07 AlphaGo  
02:48:26 reinforcement learning from human feedback (RLHF)  
03:09:39 preview of things to come  
03:15:15 keeping track of LLMs  
03:18:34 where to find LLMs  
03:21:46 grand summary

## Comments



### Comment 34304

- Author: nicewook
- Created: 2025-02-08T10:08:05+09:00
- Points: 1

안드레이 카파시의 영상의 단점(?)은 1.5배가 절대 불가하다는 것이다 싶습니다. 말을 정말 빠르게하세요. :-)

### Comment 34276

- Author: neo
- Created: 2025-02-07T09:43:38+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=42952960) 
- 이 사람에 대한 존경이 큼. 그는 인간과 기계 사이의 간극을 메우는 네오와 같음. 그의 저장소와 비디오에서 무료로 배운 것들:
  - minGPT, nanoGPT (transformers)
  - NLP (더 많은 시리즈 제작)
  - tokenizers (그의 유튜브)
  - RNN (그의 블로그)
  - 많은 분야에 karpathy 같은 사람이 없고, 우리는 그들에 대해 듣지 못함. 이 사람이 ML에 대한 직관을 전파해줘서 기쁨

- 친구들에게 Andrej가 내가 대학원에서 만난 최고의 강사였다고 말함. Stanford에 가지 않았지만 그의 CS321n 유튜브 비디오를 봄. 그가 여전히 비디오를 만들고 있어 매우 기쁨

- 그는 transformer 아키텍처와 훈련에 대해 기본적으로 같은 주제를 다룬 비디오를 5개 이상 만듦. 이번 비디오는 무엇이 다른지 궁금함

- 그의 "let's build" 시리즈를 정말 좋아함. 고급 콘텐츠 외에도 멋진 Python 트릭을 배우게 됨

- 긴 형식의 비디오에 집중할 수 없어서 좌절함. 이 비디오들이 짧은 비디오보다 훨씬 나을 가능성이 큼

- CS231n 프로젝트의 일부로 Python 리스트를 사용하여 역전파하는 방법을 여전히 기억함. 놀라운 점은 Stanford에 가지 않았다는 것임

- Andrej에게 감사함. LLM이 어떻게 작동하고 훈련되는지에 대한 꽤 좋은 이해를 가지고 있지만, 많은 친구들은 그렇지 않음. 이 비디오와 강연이 그들에게 '어떤' 아이디어를 줌

- 비디오를 배포할 다른 방법이 있었으면 좋겠음. 유튜브에서 콘텐츠가 결국 사라짐. 이 콘텐츠는 중요하다고 생각함. 더 많은 사람들이 AI가 어떻게 작동하는지 알수록 사회가 더 강력해질 것임

- 전체를 다 봄... 볼이 잠들었지만 그럴 가치가 있었음. Andrej에게 감사함

- 나는 단순한 사람임. Karpathy 비디오를 보면 클릭하고 보고 즐김