52P by xguru 1달전 | favorite | 댓글 4개
  • 공동창업자이자 CSO인 Thomas Wolf는 물리학 & 법학 전공
  • 그가 2016~17년에 NLP/AI/ML 분야에 들어가면서 읽은 독서 목록
    • 즉, ChatGPT/트랜스포머/Diffusion 혁신 전이라는 것을 유의할 것
  • "Deep Learning(심층 학습)" 책은 현재 도구에 대한 빠른 개요를 얻기에 좋은 자료
  • "Artificial Intelligence: A Modern Approach(인공지능:제4판 - 현대적 접근방식)"는 신경망 이전의 모든 도구와 방법에 대한 훌륭한 자료
  • "Machine Learning: A Probabilistic Perspective(머신 러닝)"는 확률적 접근법을 더 깊이 파고들고 베이지안 도구에 대한 좋은 노출을 얻기에 훌륭한 자료
  • "Information Theory, Inference and Learning Algorithms"는 거의 믿을 수 없을 정도로 명확하게 확률과 정보 이론을 설명하는 작은 보석임
  • "The Book of Why: The New Science of Cause and Effect"는 인과관계에 대한 좋은 소개서임
  • "Reinforcement Learning: An Introduction(단단한 강화학습)"은 강화 학습에 대한 입문적 소개를 얻기에 훌륭한 자료임
  • 자연어 처리에 대한 세 가지 훌륭한 자료가 흥미로웠음
  • 몇 가지 온라인 코스로 이를 보완함
  • 트랜스포머와 대규모 훈련의 혁명 이후에 이 분야에 합류한다면 아마도 다른 경로를 따르고 싶을 것임
    • 2024년 조언 몇 가지:
      • NLP와 트랜스포머에 관한 우리의 책 Natural Language Processing with Transformers을 읽을 것. ChatGPT 이전이지만 여전히 매우 관련성이 있으며 마지막에는 LLM 훈련까지 다룸
      • 유명한 분야 사람들로부터 딥러닝에 대한 온라인 수업을 몇 개 들을 것
      • 여전히 위 목록에서 일반 교양을 위해 책을 몇 권 읽을 수 있으며, 특히 "Information Theory, Inference and Learning Algorithms"는 여전히 보석이라고 생각함
      • 실천을 통해 배우기 위해 Hugging Face에 가입할 것 :)

<심층 학습> - 이안 굿펠로, 요슈아 벤지오, 에런 쿠빌 http://aladin.kr/p/OLwph

<인공지능 1~2 - 전2권> - 스튜어트 러셀, 피터 노빅 http://aladin.kr/p/g4yZY

<Machine Learning 머신 러닝> - 케빈 머피 http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - 데이빗 맥케이 http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - 다나 맥켄지, Judea Pearl http://aladin.kr/p/cLywB

<단단한 강화학습> - 리처드 서튼, 앤드류 바르토 http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning -Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<자연어 처리의 정석> - 제이콥 에이젠슈테인 http://aladin.kr/p/rPoLB

정리해주셔서 감사합니다!!
글을 퍼가며 정리해주신 목록도 함께 퍼갔는데요, 혹시나 원치 않으시면 삭제하도록 하겠습니다. 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2

감사합니다 ㅠㅠ

이름이 뭔가 낯익어 찾아보닌 3월 말쯤 LLM 모델 개발 트렌드 영상을 공개했었던 것을 봤었네요. (아직 다 보지는 못했습니다ㅠ)

'A Little guide to building Large Language Models in 2024'라는 제목의 유튜브 영상으로, LLM 개발을 위한 데이터 준비부터 학습/평가 방법 등을 다방면으로 다루고 있는 영상입니다.