30 Papers - 일리야 서츠케버 추천 AI 핵심 논문 목록 요약

baeba · 2026-07-08T09:33:20+09:00

일리야 서츠케버가 존 카맥에게 추천했다고 알려진 AI 핵심 논문 목록을 바탕으로, 머신러닝 핵심 논문을 초보자가 따라가기 쉽게 모은 사이트 목록은 딥러닝, 컴퓨터 비전, 순차 모델링, 어텐션, 트랜스포머, 그래프 신경망, 스케일링 법칙, 정보이론, 복잡성 이론 등 현대 AI의 주요 발전 흐름을 따라감 논문만 나열하지 않고 강의 노트와 해설 글, 코드 기반 설명도 함께 묶어 원 논문 진입 장벽을 낮춤 현대 대규모 언어 모델과 딥러닝 시스템을 이해하려는 독자는 아키텍처·학습 기법·복잡도 이론의 출발점을 한곳에서 훑어볼 수 있음 원래 30개 논문 목록으로 알려졌지만, 현재 웹사이트에는 27개 항목만 정리되어 있음 서론 AI 발전의 핵심 자료를 정리한 목록 이 웹사이트는 AI 연구의 주요 전환점을 만든 논문과 학습 자료를 모은 프로젝트이다. 목록은 일리야 서츠케버가 존 카맥에게 추천했다는 소문을 기반으로 구성되어 있다. 웹사이트 작성자는 전체 30개 논문 중 현재 27개만 확보했다고 밝히고 있다. 각 항목은 논문 제목, 핵심 내용 요약, 주요 기여자 정보를 포함한다. 자료의 목적은 현대 AI 기술의 기반이 된 아이디어들을 한눈에 파악할 수 있도록 정리하는 것이다. 본론 컴퓨터 비전과 합성곱 신경망의 발전 CS231n: Convolutional Neural Networks for Visual Recognition 합성곱 신경망을 기초부터 설명하는 교육 자료이다. 선형 분류기부터 심층 이미지 인식 모델까지 단계적으로 다룬다. 컴퓨터 비전 분야에서 CNN을 학습하는 입문 자료로 기능한다. ImageNet Classification with Deep Convolutional Neural Networks AlexNet 논문으로, ImageNet 대회에서 큰 성능 차이로 우승했다. 대규모 이미지 분류에서 심층 합성곱 신경망의 효과를 입증했다. 현대 딥러닝 시대를 촉발한 대표적 논문으로 평가된다. Deep Residual Learning for Image Recognition ResNet 논문으로, 잔차 연결을 도입했다. 네트워크가 전체 변환이 아니라 입력 대비 변화량을 학습하도록 설계했다. 수백 층 규모의 깊은 신경망 학습을 가능하게 했다. Identity Mappings in Deep Residual Networks ResNet의 후속 연구로, 항등 shortcut이 효과적인 이유를 분석했다. pre-activation residual block을 제안해 잔차 네트워크 구조를 개선했다. 깊은 네트워크의 최적화 안정성과 성능 향상에 기여했다. Multi-Scale Context Aggregation by Dilated Convolutions dilated convolution을 통해 해상도 손실 없이 수용 영역을 확장하는 방법을 제시했다. 이미지 분할 등 dense prediction 작업에서 문맥 정보를 더 넓게 활용할 수 있게 했다. 세밀한 공간 정보를 유지하면서 넓은 범위의 특징을 반영하는 데 기여했다. 순차 모델과 장기 의존성 문제 해결 The Unreasonable Effectiveness of Recurrent Neural Networks 문자 단위 RNN으로 텍스트 생성을 실험한 실용적 블로그 글이다. RNN이 데이터 안의 구조와 패턴을 상당 부분 포착할 수 있음을 사례로 보여준다. 순차 데이터 모델링의 가능성을 직관적으로 설명한다. Understanding LSTM Networks LSTM의 게이트 구조와 정보 전달 방식을 시각적으로 설명한 자료이다. 긴 시퀀스에서 정보를 유지하는 원리를 이해하는 데 초점을 둔다. LSTM을 처음 학습하는 사람에게 널리 활용되는 입문 자료이다. Recurrent Neural Network Regularization LSTM에 dropout을 적용하는 적절한 방법을 제시한다. recurrent connection이 아니라 non-recurrent connection에 dropout을 적용해야 함을 설명한다. 대형 순환 신경망의 과적합을 줄이는 데 기여했다. Order Matters: Sequence to Sequence for Sets sequence-to-sequence 모델에서 입력과 출력 순서가 성능에 미치는 영향을 분석했다. 본질적으로 집합인 데이터를 순차 모델로 처리할 때 발생하는 문제를 다룬다. 순서가 없는 데이터 구조를 모델링하는 방법에 대한 논의를 제공한다. 어텐션과 트랜스포머로 이어지는 구조적 전환 Neural Machine Translation by Jointly Learning to Align and Translate 기계번역에서 어텐션 메커니즘을 도입한 핵심 논문이다. 모델이 하나의 고정 요약 벡터에 의존하지 않고, 관련 있는 원문 단어를 직접 참조하도록 했다. 이후 자연어처리 모델 구조 변화의 중요한 기반이 되었다. Pointer Networks 출력이 입력의 특정 위치를 가리키도록 설계된 sequence 모델이다. 정답이 입력 요소의 선택이나 정렬로 표현되는 문제에 적합하다. 조합 최적화와 구조적 예측 문제에 활용 가능한 모델 구조를 제시했다. Attention Is All You Need 트랜스포머 아키텍처를 제안한 논문이다. recurrence를 제거하고 self-attention만으로 순차 데이터를 처리했다. 현대 대규모 언어모델의 핵심 구조적 기반이 되었다. The Annotated Transformer 트랜스포머 논문을 실행 가능한 코드와 함께 줄 단위로 설명한 자료이다. 원 논문의 구조를 실제 구현 관점에서 이해할 수 있도록 돕는다. 연구 논문과 실무 구현 사이의 간극을 줄이는 학습 자료로 기능한다. 메모리, 관계 추론, 그래프 구조 학습 Neural Turing Machines 신경망에 읽기·쓰기 가능한 외부 메모리를 결합한 모델이다. 미분 가능한 attention을 통해 메모리를 제어한다. 예시 데이터로부터 단순 알고리즘을 학습할 수 있는 가능성을 제시했다. A Simple Neural Network Module for Relational Reasoning relation network를 제안한 논문이다. 객체 쌍 사이의 관계를 추론할 수 있는 모듈을 신경망에 추가한다. 시각적 추론과 관계 기반 문제 해결에 유용한 구조를 제시했다. Relational Recurrent Neural Networks recurrent network에 self-attention 기반 메모리를 결합했다. 저장된 메모리들이 서로 상호작용할 수 있게 설계했다. 시간에 따른 관계 추론이 필요한 작업에서 성능 향상을 목표로 한다. Neural Message Passing for Quantum Chemistry 그래프 신경망을 message passing framework로 통합해 설명했다. 분자 구조의 성질 예측에 그래프 기반 학습을 적용했다. 그래프 신경망 연구의 구조적 기반을 정리한 논문으로 볼 수 있다. 대규모 모델 학습과 스케일링 법칙 Scaling Laws for Neural Language Models 언어모델의 손실이 모델 크기, 데이터, 연산량에 따라 일정한 power law 형태로 감소함을 측정했다. 대규모 모델을 구축하는 경험적 근거를 제공했다. 이후 대형 언어모델 개발 전략에 중요한 기준이 되었다. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism 거대 신경망을 여러 장치에 나누어 학습하는 pipeline parallelism 방법을 제시했다. 장치 간 작업을 효율적으로 분산해 대규모 모델 학습을 실용화했다. 모델 크기 확장에 필요한 학습 인프라 측면의 해결책을 제공했다. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin 영어와 중국어 음성 인식을 end-to-end 방식으로 처리한 시스템이다. connectionist temporal classification을 활용해 음성 시퀀스를 학습했다. 서로 다른 언어 환경에서도 확장 가능한 음성 인식 모델의 가능성을 보였다. 정보이론, 압축, 복잡성 관점의 학습 이해 Keeping Neural Networks Simple by Minimizing the Description Length of the Weights 신경망의 일반화를 가중치의 설명 길이와 연결해 해석한 초기 연구이다. 좋은 모델은 적은 비트로 설명 가능한 가중치를 가진다는 관점을 제시했다. 압축과 일반화 사이의 관계를 정보이론적으로 설명한다. A Tutorial Introduction to the Minimum Description Length Principle 최소 기술 길이 원리를 소개하는 튜토리얼 자료이다. 학습을 데이터를 가장 짧게 설명하는 모델을 찾는 과정으로 해석한다. 모델 선택과 압축 기반 학습 이해에 필요한 기본 개념을 제공한다. Kolmogorov Complexity 문자열을 생성하는 가장 짧은 프로그램의 길이를 다루는 이론이다. description length와 algorithmic randomness의 형식적 기반을 제공한다. AI 모델의 압축, 일반화, 복잡성 논의와 연결된다. The First Law of Complexodynamics 닫힌 시스템에서 복잡성이 왜 증가한 뒤 감소하는지 설명하는 법칙을 탐구한 글이다. 복잡성을 단순히 엔트로피와 동일시하지 않고 별도의 동역학적 특성으로 다룬다. 복잡한 시스템의 시간적 변화에 대한 개념적 질문을 제기한다. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton 커피와 크림이 섞이는 과정을 셀룰러 오토마타로 모델링한 연구이다. 시스템이 평형 상태로 이동하는 과정에서 복잡성이 증가했다가 감소하는 현상을 분석한다. 복잡성의 시간적 변화를 정량화하려는 시도를 보여준다. 생성 모델과 보편적 지능 개념 Variational Lossy Autoencoder 변분 오토인코더와 autoregressive decoder를 결합한 모델이다. latent code가 어떤 정보를 보존해야 하는지 제어하는 방법을 제시한다. 생성 모델에서 표현 학습과 정보 보존의 균형을 다룬다. Machine Super Intelligence 기계 지능의 보편적 측정 방법을 제안한 박사 논문이다. 매우 강력한 에이전트의 성질과 결과를 이론적으로 탐구한다. 인공 일반지능과 초지능 논의의 형식적 기반 중 하나로 볼 수 있다. 결론 현대 AI의 핵심 발전 경로를 압축한 참고 목록 이 목록은 현대 AI의 발전을 이끈 주요 개념들을 기술 흐름별로 정리한다. 초기 컴퓨터 비전 모델에서 시작해 RNN, LSTM, attention, Transformer, scaling laws로 이어지는 구조적 변화를 보여준다. 신경망 최적화, 대규모 학습, 그래프 구조 학습, 정보이론, 복잡성 이론까지 폭넓게 포함한다. 단일 분야의 논문 목록이 아니라 현대 AI를 이해하기 위한 다층적 학습 경로에 가깝다. AI 연구자와 개발자에게는 기술의 역사적 맥락, 핵심 원리, 연구 방향을 함께 파악할 수 있는 기초 자료로 활용될 수 있다.

(30papers.com)

17P by baeba 3시간전 | ★ favorite | 댓글 2개

일리야 서츠케버가 존 카맥에게 추천했다고 알려진 AI 핵심 논문 목록을 바탕으로, 머신러닝 핵심 논문을 초보자가 따라가기 쉽게 모은 사이트
목록은 딥러닝, 컴퓨터 비전, 순차 모델링, 어텐션, 트랜스포머, 그래프 신경망, 스케일링 법칙, 정보이론, 복잡성 이론 등 현대 AI의 주요 발전 흐름을 따라감
논문만 나열하지 않고 강의 노트와 해설 글, 코드 기반 설명도 함께 묶어 원 논문 진입 장벽을 낮춤
현대 대규모 언어 모델과 딥러닝 시스템을 이해하려는 독자는 아키텍처·학습 기법·복잡도 이론의 출발점을 한곳에서 훑어볼 수 있음
원래 30개 논문 목록으로 알려졌지만, 현재 웹사이트에는 27개 항목만 정리되어 있음

서론

AI 발전의 핵심 자료를 정리한 목록

이 웹사이트는 AI 연구의 주요 전환점을 만든 논문과 학습 자료를 모은 프로젝트이다.
목록은 일리야 서츠케버가 존 카맥에게 추천했다는 소문을 기반으로 구성되어 있다.
웹사이트 작성자는 전체 30개 논문 중 현재 27개만 확보했다고 밝히고 있다.
각 항목은 논문 제목, 핵심 내용 요약, 주요 기여자 정보를 포함한다.
자료의 목적은 현대 AI 기술의 기반이 된 아이디어들을 한눈에 파악할 수 있도록 정리하는 것이다.

본론

컴퓨터 비전과 합성곱 신경망의 발전

CS231n: Convolutional Neural Networks for Visual Recognition
- 합성곱 신경망을 기초부터 설명하는 교육 자료이다.
- 선형 분류기부터 심층 이미지 인식 모델까지 단계적으로 다룬다.
- 컴퓨터 비전 분야에서 CNN을 학습하는 입문 자료로 기능한다.
ImageNet Classification with Deep Convolutional Neural Networks
- AlexNet 논문으로, ImageNet 대회에서 큰 성능 차이로 우승했다.
- 대규모 이미지 분류에서 심층 합성곱 신경망의 효과를 입증했다.
- 현대 딥러닝 시대를 촉발한 대표적 논문으로 평가된다.
Deep Residual Learning for Image Recognition
- ResNet 논문으로, 잔차 연결을 도입했다.
- 네트워크가 전체 변환이 아니라 입력 대비 변화량을 학습하도록 설계했다.
- 수백 층 규모의 깊은 신경망 학습을 가능하게 했다.
Identity Mappings in Deep Residual Networks
- ResNet의 후속 연구로, 항등 shortcut이 효과적인 이유를 분석했다.
- pre-activation residual block을 제안해 잔차 네트워크 구조를 개선했다.
- 깊은 네트워크의 최적화 안정성과 성능 향상에 기여했다.
Multi-Scale Context Aggregation by Dilated Convolutions
- dilated convolution을 통해 해상도 손실 없이 수용 영역을 확장하는 방법을 제시했다.
- 이미지 분할 등 dense prediction 작업에서 문맥 정보를 더 넓게 활용할 수 있게 했다.
- 세밀한 공간 정보를 유지하면서 넓은 범위의 특징을 반영하는 데 기여했다.

순차 모델과 장기 의존성 문제 해결

The Unreasonable Effectiveness of Recurrent Neural Networks
- 문자 단위 RNN으로 텍스트 생성을 실험한 실용적 블로그 글이다.
- RNN이 데이터 안의 구조와 패턴을 상당 부분 포착할 수 있음을 사례로 보여준다.
- 순차 데이터 모델링의 가능성을 직관적으로 설명한다.
Understanding LSTM Networks
- LSTM의 게이트 구조와 정보 전달 방식을 시각적으로 설명한 자료이다.
- 긴 시퀀스에서 정보를 유지하는 원리를 이해하는 데 초점을 둔다.
- LSTM을 처음 학습하는 사람에게 널리 활용되는 입문 자료이다.
Recurrent Neural Network Regularization
- LSTM에 dropout을 적용하는 적절한 방법을 제시한다.
- recurrent connection이 아니라 non-recurrent connection에 dropout을 적용해야 함을 설명한다.
- 대형 순환 신경망의 과적합을 줄이는 데 기여했다.
Order Matters: Sequence to Sequence for Sets
- sequence-to-sequence 모델에서 입력과 출력 순서가 성능에 미치는 영향을 분석했다.
- 본질적으로 집합인 데이터를 순차 모델로 처리할 때 발생하는 문제를 다룬다.
- 순서가 없는 데이터 구조를 모델링하는 방법에 대한 논의를 제공한다.

어텐션과 트랜스포머로 이어지는 구조적 전환

Neural Machine Translation by Jointly Learning to Align and Translate
- 기계번역에서 어텐션 메커니즘을 도입한 핵심 논문이다.
- 모델이 하나의 고정 요약 벡터에 의존하지 않고, 관련 있는 원문 단어를 직접 참조하도록 했다.
- 이후 자연어처리 모델 구조 변화의 중요한 기반이 되었다.
Pointer Networks
- 출력이 입력의 특정 위치를 가리키도록 설계된 sequence 모델이다.
- 정답이 입력 요소의 선택이나 정렬로 표현되는 문제에 적합하다.
- 조합 최적화와 구조적 예측 문제에 활용 가능한 모델 구조를 제시했다.
Attention Is All You Need
- 트랜스포머 아키텍처를 제안한 논문이다.
- recurrence를 제거하고 self-attention만으로 순차 데이터를 처리했다.
- 현대 대규모 언어모델의 핵심 구조적 기반이 되었다.
The Annotated Transformer
- 트랜스포머 논문을 실행 가능한 코드와 함께 줄 단위로 설명한 자료이다.
- 원 논문의 구조를 실제 구현 관점에서 이해할 수 있도록 돕는다.
- 연구 논문과 실무 구현 사이의 간극을 줄이는 학습 자료로 기능한다.

메모리, 관계 추론, 그래프 구조 학습

Neural Turing Machines
- 신경망에 읽기·쓰기 가능한 외부 메모리를 결합한 모델이다.
- 미분 가능한 attention을 통해 메모리를 제어한다.
- 예시 데이터로부터 단순 알고리즘을 학습할 수 있는 가능성을 제시했다.
A Simple Neural Network Module for Relational Reasoning
- relation network를 제안한 논문이다.
- 객체 쌍 사이의 관계를 추론할 수 있는 모듈을 신경망에 추가한다.
- 시각적 추론과 관계 기반 문제 해결에 유용한 구조를 제시했다.
Relational Recurrent Neural Networks
- recurrent network에 self-attention 기반 메모리를 결합했다.
- 저장된 메모리들이 서로 상호작용할 수 있게 설계했다.
- 시간에 따른 관계 추론이 필요한 작업에서 성능 향상을 목표로 한다.
Neural Message Passing for Quantum Chemistry
- 그래프 신경망을 message passing framework로 통합해 설명했다.
- 분자 구조의 성질 예측에 그래프 기반 학습을 적용했다.
- 그래프 신경망 연구의 구조적 기반을 정리한 논문으로 볼 수 있다.

대규모 모델 학습과 스케일링 법칙

Scaling Laws for Neural Language Models
- 언어모델의 손실이 모델 크기, 데이터, 연산량에 따라 일정한 power law 형태로 감소함을 측정했다.
- 대규모 모델을 구축하는 경험적 근거를 제공했다.
- 이후 대형 언어모델 개발 전략에 중요한 기준이 되었다.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- 거대 신경망을 여러 장치에 나누어 학습하는 pipeline parallelism 방법을 제시했다.
- 장치 간 작업을 효율적으로 분산해 대규모 모델 학습을 실용화했다.
- 모델 크기 확장에 필요한 학습 인프라 측면의 해결책을 제공했다.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- 영어와 중국어 음성 인식을 end-to-end 방식으로 처리한 시스템이다.
- connectionist temporal classification을 활용해 음성 시퀀스를 학습했다.
- 서로 다른 언어 환경에서도 확장 가능한 음성 인식 모델의 가능성을 보였다.

정보이론, 압축, 복잡성 관점의 학습 이해

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- 신경망의 일반화를 가중치의 설명 길이와 연결해 해석한 초기 연구이다.
- 좋은 모델은 적은 비트로 설명 가능한 가중치를 가진다는 관점을 제시했다.
- 압축과 일반화 사이의 관계를 정보이론적으로 설명한다.
A Tutorial Introduction to the Minimum Description Length Principle
- 최소 기술 길이 원리를 소개하는 튜토리얼 자료이다.
- 학습을 데이터를 가장 짧게 설명하는 모델을 찾는 과정으로 해석한다.
- 모델 선택과 압축 기반 학습 이해에 필요한 기본 개념을 제공한다.
Kolmogorov Complexity
- 문자열을 생성하는 가장 짧은 프로그램의 길이를 다루는 이론이다.
- description length와 algorithmic randomness의 형식적 기반을 제공한다.
- AI 모델의 압축, 일반화, 복잡성 논의와 연결된다.
The First Law of Complexodynamics
- 닫힌 시스템에서 복잡성이 왜 증가한 뒤 감소하는지 설명하는 법칙을 탐구한 글이다.
- 복잡성을 단순히 엔트로피와 동일시하지 않고 별도의 동역학적 특성으로 다룬다.
- 복잡한 시스템의 시간적 변화에 대한 개념적 질문을 제기한다.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- 커피와 크림이 섞이는 과정을 셀룰러 오토마타로 모델링한 연구이다.
- 시스템이 평형 상태로 이동하는 과정에서 복잡성이 증가했다가 감소하는 현상을 분석한다.
- 복잡성의 시간적 변화를 정량화하려는 시도를 보여준다.

생성 모델과 보편적 지능 개념

Variational Lossy Autoencoder
- 변분 오토인코더와 autoregressive decoder를 결합한 모델이다.
- latent code가 어떤 정보를 보존해야 하는지 제어하는 방법을 제시한다.
- 생성 모델에서 표현 학습과 정보 보존의 균형을 다룬다.
Machine Super Intelligence
- 기계 지능의 보편적 측정 방법을 제안한 박사 논문이다.
- 매우 강력한 에이전트의 성질과 결과를 이론적으로 탐구한다.
- 인공 일반지능과 초지능 논의의 형식적 기반 중 하나로 볼 수 있다.

결론

현대 AI의 핵심 발전 경로를 압축한 참고 목록

이 목록은 현대 AI의 발전을 이끈 주요 개념들을 기술 흐름별로 정리한다.
초기 컴퓨터 비전 모델에서 시작해 RNN, LSTM, attention, Transformer, scaling laws로 이어지는 구조적 변화를 보여준다.
신경망 최적화, 대규모 학습, 그래프 구조 학습, 정보이론, 복잡성 이론까지 폭넓게 포함한다.
단일 분야의 논문 목록이 아니라 현대 AI를 이해하기 위한 다층적 학습 경로에 가깝다.
AI 연구자와 개발자에게는 기술의 역사적 맥락, 핵심 원리, 연구 방향을 함께 파악할 수 있는 기초 자료로 활용될 수 있다.

GN⁺ 52분전 [-]

Hacker News 의견들

이 글이 이렇게 관심을 받을 줄 몰랐고, 원래는 친구들이 연구 논문 읽기에 입문하도록 돕는 작은 프로젝트로 생각했음
배경과 애니메이션이 너무 강하다는 피드백이 많아서, 사용성보다 멋있어 보이는 데 너무 치우쳤던 것 같음
그래서 페이지 움직임과 논문 배경을 각각 끌 수 있는 토글을 추가했음
논문마다 더 개인적인 감상을 원한다는 의견도 있었는데, 인기 논문 일부에 대해서는 이미 X의 @notmcrowley에 써둔 것이 있음
도움이 된다면 사이트에 추가할 수 있지만, ML이나 AI를 정식으로 배운 건 아니라 해석은 어디까지나 개인적인 것이고 맞지 않을 수도 있음
더 경험 많은 사람이 기여하고 싶다면 연락해도 좋음
- Twitter를 쓴 적도 없고 앞으로도 만들 생각이 없는 사람들을 위해, 그런 개인 감상을 사이트에 추가해주면 좋겠음
  친구들처럼 연구 논문 읽기에 입문하려는 중이라 이 모음이 지금 딱 맞는 자료임
누군가 X에 “이게 Ilya의 30편 논문”이라고 올렸지만 출처도 없고 어디서 가져왔는지도 안 밝혔으며, Ilya나 Carmack과 연결된 사람도 아님
그런데 그걸 바탕으로 누군가 분위기 코딩으로 간신히 쓸 만한 웹사이트를 만들었고, 그게 HN 첫 페이지에 올라온 게 맞는 상황인가?
- 컴퓨터과학 1학년 학생이 어떤 주제에 흥미가 생겨서 논문 모음 사이트를 작게 만들고, 다른 사람과 공유하려고 HN에 올린 것임
  그런데 누군가 별로 좋은 말은 아닌 댓글을 단 상황이 맞음
- 괴짜들을 위한 자료 모음은 그냥 미끼나 다름없음
  북마크와 추천을 눌러두고 영영 다시 안 보게 되는 그런 것 :)
- 사이트에 출처를 어느 정도 적어두긴 했음
  “Ilya Sutskever가 John Carmack에게 줬다고 소문난 논문 목록”이라고 되어 있음
  Manning에도 Ilya 목록이라는 책이 있음
  https://www.manning.com/books/sutskevers-list
- 또 다른 반대론자가 나타났네, 이미 부족하지도 않은데
작성자임. Trinity College Dublin 컴퓨터과학 1학년이고, 연구 논문 읽기에 입문할 때 다른 사람들도 이미 물어봤을 법한 질문을 하느라 Claude 사용량을 엄청 태웠던 경험 때문에 만들었음
사이트는 그냥 사이드 프로젝트이고 확실히 아직 진행 중인 작업임
질문에 답하거나 GitHub에서 PR을 받을 수 있음
- 애니메이션을 끄고 논문 링크를 단순한 목록으로 보여주는 옵션이 있으면 유용하겠음
- 사이트의 목표가 무엇인지 들어보면 흥미로울 것 같음
  그냥 목록을 다시 호스팅하고, 논문을 새 형식으로 옮겨둔 것인지 궁금함
  적어도 각 논문에 대해 배운 내용을 주석으로 달아뒀을 거라고 기대했음
추천되거나 논리적인 읽기 순서대로 정리되어 있으면 좋겠음
예를 들어 어텐션 메커니즘을 소개한 논문은 “Attention Is All You Need”보다 먼저 와야 할 것 같음
- 동의함. 논문들이 논리적 읽기 순서라면, 그 사실을 맨 위에 밝혀두면 매우 유용하겠음
이 목록을 유명하게 만든 원래 X 글일 수도 있음. 2024년에 올라왔고 조회수 87.6만임
https://x.com/keshavchan/status/1787861946173186062
실제로 Ilya가 만든 목록인지 아닌지는 논쟁할 가치가 크지 않다고 봄
많은 논문이 교육 자료로 널리 인정받고 있고, 예를 들면 annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks가 있음
다른 것들은 이 분야에 관심 있는 사람이라면 읽어서 얻는 게 있는 대표 논문들임: Krizhevsky et al. (2012)는 AlexNet을, Bahdanau et al. (2014)는 어텐션을, He et al. (2015)는 ResNet을, Vaswani et al. (2017)는 Transformer를 소개했음
나머지 논문들은 더 전문적이지만, 그중에서는 OpenAI의 Kaplan et al. (2020)이 아마 가장 중요하다고 봄
초보자라면 논문 읽기에 익숙하지 않을 때 Welch Labs Illustrated Guide To AI를 추천함
아름다운 책이고 읽으면서 즐거웠음
그다음 이 논문들을 읽으면 더 깊이 이해할 수 있을 것 같음
처음엔 “Ilya가 쓴 상위 30편 논문”인 줄 알고, 왜 “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton”이 목록에 있는지 잠깐 헷갈렸음
“웹사이트 버전들을 처음부터 끝까지 다 읽지는 않았다”는 문구에서, 웹사이트 버전이라는 게 실제 본문인지 “설명”인지도 불분명함
어느 쪽이든 큰 위험 신호로 보임
이 목록을 처음 보고 나서, 이 논문들을 들으려고 PdfToMp3를 만들었음
지금은 ListenDock으로 발전했음
재미있는 점은 PdfToMp3가 NotebookLM보다 먼저 있었고, 이미 “개요”도 있었지만 그때는 교사 설명이라고 불렀음
“Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” 논문에 대한 “Teacher Explanation” 예시는 여기 있음
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- 여기 뭔가 올릴 때마다 왜 다운보트를 받는지 모르겠음
  너무 스팸 같아서 그런 건지, AI라서 그런 건지, 나를 따라다니는 다운보트 봇이 있는 건지 궁금함
콜모고로프 복잡도에 관한 이론 논문들이 눈에 띔
익숙하지 않은 사람을 위해 말하면, Ilya는 신경망이 일반화되는 이유, 즉 애초에 작동하는 이유가 학습 데이터를 단순하게 설명하는 방법을 사실상 찾아내고 콜모고로프 복잡도의 한계로 수렴하기 때문이라고 주장함 [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- 그건 모든 통계 모델에 해당하는 이야기이지, 신경망만의 마법 같은 속성은 아님
목록의 표현 방식이 좋음
이 논문들을 읽기 전이나 읽는 도중에 Ilya의 강연이나 팟캐스트를 몇 개 보면, 전체 개요와 각 작업들이 어떻게 연결되는지 파악하는 데 도움이 될 것 같음
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

답변달기

jung5966 2시간전 [-]

현대 LLM/AI 를 진입하는 데에 학습할 수 있는 자료들 목록 제공에 감사드립니다.

-> CNN은 공간을 읽는 법을, RNN/LSTM은 시간을 기억하는 법을, attention은 필요한 정보를 찾아보는 법을, Transformer는 그 과정을 병렬화하는 법을, GNN/Relation/Memory 계열은 객체들의 관계를 계산하는 법을, scaling/infrastructure 논문들은 그것을 크게 훈련하는 법을, MDL/Kolmogorov/complexity 계열은 왜 학습이 압축과 일반화의 문제인지 생각하는 법을 제공합니다.

즉 이 27개 목록의 논문들은, “지능형 시스템은 좋은 inductive bias, 안정적인 정보 흐름, 선택적 기억, 관계 계산, 대규모 학습, 그리고 압축 가능한 구조의 발견이 결합될 때 강해진다”는 관점을 여러 각도에서 보여주는 자료 묶음 입니다.