GN⁺: 딥 러닝 이해

책 내용 요약

• Simon J.D. Prince가 쓴 "Understanding Deep Learning"이라는 책이 MIT Press에서 2023년 12월 5일에 출판될 예정임.
• 이 책은 깊은 학습에 대한 이해를 돕기 위해 다양한 주제를 다루고 있으며, 초급 소프트웨어 엔지니어도 이해할 수 있도록 설명함.
• 책의 주요 내용은 감독 학습, 신경망, 손실 함수, 모델 훈련, 성능 측정, 정규화, 합성곱 네트워크, 잔차 네트워크, 변환기, 그래프 신경망, 비감독 학습, 생성적 적대 신경망, 정규화 흐름, 변분 오토인코더, 확산 모델, 심층 강화 학습, 깊은 학습의 작동 원리, 깊은 학습과 윤리 등을 포함함.

교육자를 위한 자료

• 교육자를 위한 답안집은 MIT Press를 통해 자격 증명을 제시하면 제공됨.
• 강의용 사본은 MIT Press를 통해 요청할 수 있음.
• 각 장에 대한 그림 자료는 PDF, SVG, PowerPoint 형식으로 제공됨.

학생을 위한 자료

• 선택된 질문에 대한 답변과 Python 노트북이 제공되며, 이는 학생들이 실습을 통해 깊은 학습을 더 잘 이해할 수 있도록 도움을 줌.
• 노트북은 수학적 배경, 감독 학습, 얕은 신경망, 심층 신경망, 손실 함수, 모델 훈련, 기울기 및 초기화, 성능 측정, 정규화, 합성곱 네트워크, 잔차 네트워크, 변환기, 그래프 신경망, 생성적 적대 신경망, 정규화 흐름, 변분 오토인코더, 확산 모델, 심층 강화 학습, 깊은 학습의 작동 원리, 깊은 학습과 윤리 등 다양한 주제를 다룸.

GN⁺의 의견

• 이 책은 깊은 학습에 대한 포괄적인 이해를 제공하며, 이론적인 설명과 실제 적용 사례를 모두 포함하고 있어 학습자에게 유익함.
• 초급 소프트웨어 엔지니어가 깊은 학습의 기본 개념부터 고급 주제까지 체계적으로 배울 수 있는 자료를 제공함으로써, 이 분야에 대한 흥미와 지식을 키울 수 있는 기회를 제공함.
• 실습을 위한 Python 노트북과 교육자 자료가 포함되어 있어, 이론적 지식을 실제 문제 해결에 적용해보는 경험을 할 수 있음이 가장 중요함.

[neo]

Hacker News 의견

• • 댓글들은 대체로 두 가지 입장으로 나뉨: 1) 이런 지식이 필요 없고 AI 시스템을 만들 수 있음, 2) 이 기초 지식이 필요해야 실제로 무슨 일이 일어나는지 이해할 수 있음.
  • 두 관점 모두 옳음. 분야가 ML 엔지니어와 ML 과학자(또는 연구원)으로 나뉘는 중임.
  • 팀에 두 유형이 모두 있는 것이 좋음. 과학자들은 느릴 수 있고, 엔지니어들은 다양한 API와 오픈소스 모델을 시도하며 앞서 나갈 것임. 하지만 장애물에 부딪히거나 알고리즘을 조정해야 할 때 많은 엔지니어들이 어려움을 겪을 수 있음. 그들에게는 많은 엔지니어들에게 낯선 R&D 마인드셋이 필요함.
  • 이때 AI 과학자의 중요성이 부각됨.
• • 지금부터 AI에 대해 공부를 시작하면 전문가에 가까워질 수 있을까?
  • 석사나 박사 학위가 필요한 여정을 시작하는 것에 대한 걱정.
• • 이 분야에 대해 배우는 것이 이제는 역사적인 목적으로만 의미가 있는 것인지, 아니면 미래의 취업에도 여전히 관련이 있는지 궁금함.
  • OpenAI가 AI 관련 모든 것을 장악할 것이라고 상상하는데, 이것이 맞는 생각인지 의문.
• • 이 책은 인상적임. '딥러닝의 비합리적 효과'에 대한 장을 좋아함. 또 주목해야 할 다른 책이 있을까?
• • 유명한 기술 회사에서 수십 년간 다양한 머신러닝 플랫폼에서 일함. 작업한 모든 것이 빠르게 구식이 됨. ML 알고리즘부터 컴퓨팅 플랫폼까지 모두 변덕스러움. 소수의 엘리트 회사만이 모든 ML 혁신을 담당하고 있어, 많은 이들에게 이런 자료를 배우는 것이 모순적으로 느껴짐.
• • 이런 책을 평가하기는 어려움... (목차만으로?)
  • 저자는 누구인가?
  • 다른 높은 평가를 받은 출판물이 있는가?
  • 이 분야를 아는 사람들로부터 좋은 리뷰가 있는가?
  • 아무것도 모르는 학생들로부터 좋은 리뷰가 있는가?
• • 바보 같은 질문일 수도 있지만: 실제 책을 어떻게 구입하나?
• • '딥러닝이 왜 작동하는가'에 대한 PDF 그림이 '딥러닝과 윤리'를 가리키는 것 같고 그 반대의 경우도 마찬가지임.
• • 훌륭한 작업이고 이를 무료로 제공하는 것은 놀라운 일임!!
• • RNN에 대한 장은 없지만, 2016년 이안 굿펠로우의 '딥러닝'을 마지막으로 읽은 이후 트랜스포머에 대한 장이 있는 것은 흥미로움.