HuggingFace 공동창업자가 추천하는 AI 분야 입문 서적
(thomwolf.io)- 공동창업자이자 CSO인 Thomas Wolf는 물리학 & 법학 전공
- 그가 2016~17년에 NLP/AI/ML 분야에 들어가면서 읽은 독서 목록
- 즉, ChatGPT/트랜스포머/Diffusion 혁신 전이라는 것을 유의할 것
- "Deep Learning(심층 학습)" 책은 현재 도구에 대한 빠른 개요를 얻기에 좋은 자료
- "Artificial Intelligence: A Modern Approach(인공지능:제4판 - 현대적 접근방식)"는 신경망 이전의 모든 도구와 방법에 대한 훌륭한 자료
- "Machine Learning: A Probabilistic Perspective(머신 러닝)"는 확률적 접근법을 더 깊이 파고들고 베이지안 도구에 대한 좋은 노출을 얻기에 훌륭한 자료
- "Information Theory, Inference and Learning Algorithms"는 거의 믿을 수 없을 정도로 명확하게 확률과 정보 이론을 설명하는 작은 보석임
- "The Book of Why: The New Science of Cause and Effect"는 인과관계에 대한 좋은 소개서임
- "Reinforcement Learning: An Introduction(단단한 강화학습)"은 강화 학습에 대한 입문적 소개를 얻기에 훌륭한 자료임
- 자연어 처리에 대한 세 가지 훌륭한 자료가 흥미로웠음
- Kyunghyun Cho의 "Natural Language Processing with Representation Learning"에 대한 강의 노트가 훌륭함
- Yoav Goldberg의 "Neural Network Methods in Natural Language Processing" 책도 좋음
- Jacob Eisenstein의 "Natural Language Processing" 교과서도 매우 포괄적인 읽을거리임
- 몇 가지 온라인 코스로 이를 보완함
- 트랜스포머와 대규모 훈련의 혁명 이후에 이 분야에 합류한다면 아마도 다른 경로를 따르고 싶을 것임
- 2024년 조언 몇 가지:
- NLP와 트랜스포머에 관한 우리의 책 Natural Language Processing with Transformers을 읽을 것. ChatGPT 이전이지만 여전히 매우 관련성이 있으며 마지막에는 LLM 훈련까지 다룸
- 유명한 분야 사람들로부터 딥러닝에 대한 온라인 수업을 몇 개 들을 것
- 여전히 위 목록에서 일반 교양을 위해 책을 몇 권 읽을 수 있으며, 특히 "Information Theory, Inference and Learning Algorithms"는 여전히 보석이라고 생각함
- 실천을 통해 배우기 위해 Hugging Face에 가입할 것 :)
- 2024년 조언 몇 가지:
이름이 뭔가 낯익어 찾아보닌 3월 말쯤 LLM 모델 개발 트렌드 영상을 공개했었던 것을 봤었네요. (아직 다 보지는 못했습니다ㅠ)
'A Little guide to building Large Language Models in 2024'라는 제목의 유튜브 영상으로, LLM 개발을 위한 데이터 준비부터 학습/평가 방법 등을 다방면으로 다루고 있는 영상입니다.
<심층 학습> - 이안 굿펠로, 요슈아 벤지오, 에런 쿠빌 http://aladin.kr/p/OLwph
<인공지능 1~2 - 전2권> - 스튜어트 러셀, 피터 노빅 http://aladin.kr/p/g4yZY
<Machine Learning 머신 러닝> - 케빈 머피 http://aladin.kr/p/RGGL8
<Information Theory, Inference and Learning Algorithms (Hardcover)> - 데이빗 맥케이 http://aladin.kr/p/LFEp0
<The Book of Why: The New Science of Cause and Effect (Paperback)> - 다나 맥켄지, Judea Pearl http://aladin.kr/p/cLywB
<단단한 강화학습> - 리처드 서튼, 앤드류 바르토 http://aladin.kr/p/3NQoU
Natural Language Processing with Representation Learning -Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…
<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R
<자연어 처리의 정석> - 제이콥 에이젠슈테인 http://aladin.kr/p/rPoLB