# GPT란 무엇인가? 트랜스포머에 대한 시각적 소개 [비디오]

> Clean Markdown view of GeekNews topic #14116. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=14116](https://news.hada.io/topic?id=14116)
- GeekNews Markdown: [https://news.hada.io/topic/14116.md](https://news.hada.io/topic/14116.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-04-02T10:33:28+09:00
- Updated: 2024-04-02T10:33:28+09:00
- Original source: [youtube.com](https://www.youtube.com/watch?v=wjZofJX0v4M)
- Points: 2
- Comments: 1

## Topic Body

_No topic body._

## Comments



### Comment 24170

- Author: neo
- Created: 2024-04-02T10:33:28+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=39898221) 
- * GPT 모델에 대한 질문이 있음: 모델이 가장 가능성이 높은 단어를 선택한다고 생각했지만, "가능성 있는" 단어 중 하나를 선택한다면, 다음 단어 예측 목록이 훨씬 덜 가능성 있게 되지 않을까? "두 단어 함께"의 가능성을 실행하는 것이 계산 가능하다면 더 유익할 것이고, 이는 3, 4, n 단어에도 적용될 수 있음. 이런 방식이 존재하는지 궁금함.
  - 영상을 보고 댓글을 본 후 수정: 이 문제를 제어하는 데는 빔 탐색(beam search)과 온도(temperature)가 사용됨.

- * 집단에게 주의 기제(attention mechanism)를 가르치기에 더 나은 사람은 생각할 수 없음. 꿈이 실현된 것 같음.

- * 4월 만우절 콘텐츠에 대한 놀라운 치유제임. 이것을 직접 주입하고 싶음.

- * Andrej Karpathy의 채널에는 프로그래밍을 아는 사람들을 대상으로 한 신경망과 그 내부 작동에 대해 설명하는 몇 가지 흥미로운 비디오가 있음. 이것을 좋아한다면 추천함.

- * 다음 토큰은 언임베딩 후 최종 열에서 로짓을 샘플링하여 선택됨. 그러나 그것은 단지 마지막 토큰을 다시 선택하는 것이 아닌가? 아니면 어느 단계에서 행렬이 N+1로 크기가 조정되는가?

- * 다음 비디오를 기다릴 수 없음. 이것들이 어떻게 작동하는지 마침내 내면화하고 이해할 수 있을 것 같음.

- * 3B1B는 YouTube에서 최고의 STEM 교육자 중 한 명임.