GN⁺: 기계 학습에서의 Pen and Paper 연습 (2022)

컴퓨터 과학 > 머신러닝

• 펜과 종이로 하는 머신러닝 연습 문제

  • Michael U. Gutmann이 작성한 이 문서는 주로 펜과 종이로 해결할 수 있는 머신러닝 연습 문제 모음임.
  • 다루는 주제는 선형대수, 최적화, 방향성 그래프 모델, 비방향성 그래프 모델, 그래프 모델의 표현력, 팩터 그래프와 메시지 전달, 숨겨진 마르코프 모델에 대한 추론, 모델 기반 학습(ICA 및 비정규화 모델 포함), 샘플링과 몬테카를로 적분, 변분 추론을 포함함.

• 기타 정보

  • 관련 GitHub 페이지가 있음.
  • 이 문서는 arXiv에 제출된 것으로, 머신러닝(cs.LG) 및 통계적 머신러닝(stat.ML) 분야에 속함.
  • arXiv 식별자는 arXiv:2206.13446이며, DOI는 https://doi.org/10.48550/arXiv.2206.13446임.

[neo]

Hacker News 의견

• 멋져 보임, 하지만 머신러닝을 공부할 때 가장 짜증나는 점 중 하나는 이론적으로 깊이 들어갈 수 있지만 실제와 어떻게 연결되는지 보이지 않는 것임. 예를 들어, 레이어의 뉴런 수를 어떻게 선택하는지, 몇 개의 레이어가 필요한지, 활성화 함수는 무엇인지, 신경망을 사용할지 다른 기술을 사용할지 등임. 누군가 이 부분을 설명해준다면 감사할 것임

• 매우 깔끔함. Tom Yeh의 "AI By Hand" 연습문제를 떠올리게 함

• 수학자들이 항상 선형대수와 행렬 이론을 머신러닝에 끼워 넣으려는 것이 재미있음. 잘 모르는 사람이라면 학자들이 LLM을 발명하고 그들과 상담해야 한다고 생각할 것임. 사실 학자들과 이론가들이 머신러닝을 저지하고, 계산 기술이 그들에게는 저급하다고 생각해서 여러 세대의 대학원생들이 상징적 증명을 하도록 강요했음

• 깔끔해 보임. 유일한 비판은 질문 바로 뒤에 해답이 주어져 있어서 스스로 생각하기 전에 답을 읽게 된다는 점임

• 정말 깔끔함. 머신러닝 분야에서 일하지만 수학 기초(특히 선형대수와 행렬/텐서 연산)에서 여전히 가짜 같은 느낌을 받음. 딥러닝 기초 기술에 중점을 둔 문제 세트에 대한 좋은 자료가 있는지 궁금함. 여러 교사의 관점에서 배우면 매일 조금씩 실습을 하면서 가장 잘 배움

• 현재 "유용한" 머신러닝을 구축하는 실무자 중 누가 이 문제들을 해결할 수 있을까? 그들이 해결할 수 있어야 할까?

• 해답이 완비된 아름다운 자료, 공유해줘서 고맙음. 다른 주제에 대한 이런 펜과 종이 연습문제가 있다면 관심이 있을 것임

• arxiv는 연구 수준의 논문을 위한 곳이 아닌가? 여기에 이 자료가 호스팅된 것이 놀라움

• 당시 논의됨: 머신러닝의 펜과 종이 연습문제 (2021) - June 2022 (55 comments)