▲

GN⁺: 일리야 수츠케버: "이 모든 것을 배우면 중요한 것의 90%를 알게 될 것입니다"

 (reddit.com)
6P by neo 6달전 | favorite | 댓글 3개

일리야 수츠케버가 머신러닝/AI 관련하여 추천한 리딩 리스트

  • The Annotated Transformer
  • The First Law of Complexodynamics
  • The Unreasonable Effectiveness of RNNs
  • Understanding LSTM Networks
  • Recurrent Neural Network Regularization
  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
  • Pointer Networks
  • ImageNet Classification with Deep CNNs
  • Order Matters: Sequence to sequence for sets
  • GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
  • Deep Residual Learning for Image Recognition
  • Multi-Scale Context Aggregation by Dilated Convolutions
  • Neural Quantum Chemistry
  • Attention Is All You Need
  • Neural Machine Translation by Jointly Learning to Align and Translate
  • Identity Mappings in Deep Residual Networks
  • A Simple NN Module for Relational Reasoning
  • Variational Lossy Autoencoder
  • Relational RNNs
  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
  • Neural Turing Machines
  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
  • Scaling Laws for Neural LMs
  • A Tutorial Introduction to the Minimum Description Length Principle
  • Machine Super Intelligence Dissertation
  • PAGE 434 onwards: Komogrov Complexity
  • CS231n Convolutional Neural Networks for Visual Recognition

링크 모음 : https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

▲
lemonmint 6달전  [-]

Neo 봇 크롤링 이슈가 있네요.

답변달기
▲
xguru 6달전  [-]

레딧이 차단하나 봅니다. 수작업으로 넣어두었습니다 ;)

답변달기
▲
neo 6달전  [-]
Hacker News 의견

해커뉴스 댓글 모음 요약

  • The headline belies the scope of this task. If you click in to see what these are:

    • 하나는 컨볼루션 신경망에 대한 전체 코스임 링크
    • 하나는 500페이지짜리 교과서임 링크
    • 또 다른 하나는 80페이지짜리 교과서임 링크
    • 이 목록을 전업으로 1년 정도 공부하면 가능할 수도 있음. 우선순위에 따라 가치가 있을 수도 있음.

  • Some time ago I also copied the list at 링크 so its easier to wget (e.g. get all the arxiv pdfs)

    • wget 명령어를 사용하여 모든 arxiv pdf를 다운로드할 수 있음.
    • 친구와 함께 pdfunite를 사용해 하나의 pdf로 합치고, 인쇄소에서 스파이럴 북으로 인쇄했음. 결과물이 매우 좋았음.

  • Keep in mind there is no confirmation that this is the actual list.

    • 이 목록이 실제 목록인지 확인되지 않았음.
    • 이 목록은 1년 전에 Ilya가 John Carmack에게 준 목록이라고 함.

  • How long does it take to learn the prerequisites to learn these if you don't already have a CS background?

    • 목록을 읽어보니 절반 정도의 제목도 이해하기 어려웠음.
    • 이 목록을 시작하면 이해할 수 있을지, 아니면 다른 곳에서 시작해야 할지 궁금함.

  • What people forget is without a proper, tangible goal, no matter how many core or interesting papers you read, you will still remember nothing.

    • 명확하고 구체적인 목표가 없으면, 아무리 많은 논문을 읽어도 기억에 남지 않음.

  • There are a few past discussions, going back to October 2022. I wonder how out of date the list is now.

    • 이 목록이 얼마나 오래되었는지 궁금함. 2022년 10월부터 몇 가지 논의가 있었음.

  • This is just someone’s bookmarks folder. Where’s the proof these were recommended by Ilya?

    • 이 목록이 Ilya가 추천한 것이라는 증거가 없음. 단순히 누군가의 북마크 폴더일 수도 있음.

  • The argument that this is 90% of what matters in ML seems a bit bold.

    • 이 목록이 머신러닝에서 중요한 것의 90%를 차지한다는 주장은 과감함. 강화 학습이나 그래프 신경망 같은 중요한 주제가 빠져 있음.

  • This has nothing on it about llms, where in context learning, retrieval augmention, tool using, and multi modality is really blazing ground.

    • 목록에 대형 언어 모델(LLM)에 대한 내용이 없음. 문맥 학습, 검색 증강, 도구 사용, 다중 모달리티 같은 중요한 주제가 빠져 있음.

  • Reading 30 studies does not mean "learned and understood". Especially if you start from zero.

    • 30개의 논문을 읽는다고 해서 "배우고 이해했다"는 의미는 아님. 특히 처음부터 시작하는 경우에는 더더욱 그렇음.
답변달기