기계 학습에서의 Pen and Paper 연습 (2022)

• Pen & Paper는 머신러닝 이론과 개념을 이미 접한 독자가 문제 풀이로 이해를 깊게 하도록 만든 상세 해설형 연습문제 모음임
• 교재와 강의의 연습문제 해설이 짧거나 없으면 학습 기회가 좌절로 바뀌기 쉬워, 풀이 과정을 따라갈 수 있는 해설 상세도를 목표로 함
• 코딩과 시뮬레이션도 중요하지만, 대부분의 문제를 펜과 종이로 풀 수 있게 구성해 수학적 사고를 강화하는 데 초점을 둠
• 문제들은 University of Helsinki의 “Unsupervised Machine Learning”과 University of Edinburgh의 “Probabilistic Modelling and Reasoning” 강의 문제를 주로 합친 것이며, 범위는 비지도 방법·추론·학습에 집중됨
• Michael Gutmann은 문제 모음이 계속 확장되기를 바라며, LaTeX 소스 공개와 GitHub 이슈 기반 오류 보고, 더 큰 기여를 위한 직접 연락을 안내함

---

연습문제로 이해를 깊게 하는 책

• “use it or lose it”라는 표현처럼, 기술은 연습하지 않으면 녹슬고 새 기술을 익힐 때도 반복적인 적용이 필요함
• 많은 교재와 강의가 연습문제를 제공하지만, 해설이 너무 짧거나 없으면 문제 풀이가 좌절의 원인이 되어 건너뛰기 쉬움
• 이 책은 상세한 풀이가 붙은 연습문제 모음임
  • 독자가 풀이를 따라가며 사용된 기법을 이해할 수 있을 정도의 상세도를 목표로 함
  • 머신러닝 교재나 강의를 대체하지 않음
  • 관련 이론과 개념을 이미 본 뒤, 문제 풀이로 이해를 다지는 상황에 맞춰져 있음

펜과 종이 중심의 구성

• 머신러닝에서 코딩과 컴퓨터 시뮬레이션은 매우 중요함
• 다만 이 책의 문제는 대부분 펜과 종이로 풀 수 있음
  • 펜과 종이 중심 구성은 분량을 줄이고 설명을 단순화함
  • 수학적 능력을 강화하는 데 도움이 됨
• 컴퓨터 실습과 함께 사용하면 개념 이해를 더 깊게 만들 수 있음

다루는 주제와 범위

• 문제들은 주로 두 강의에서 개발된 자료를 합친 것임
  • University of Helsinki의 “Unsupervised Machine Learning”
  • University of Edinburgh의 “Probabilistic Modelling and Reasoning”
• 머신러닝 전체를 포괄하지는 않음
• 초점은 비지도 방법, 추론, 학습에 강하게 맞춰져 있음
• 제공된 본문에는 1장 Linear Algebra의 예시로 Gram–Schmidt 직교화 문제가 포함되어 있음
  • 두 벡터에서 만든 u1, u2가 서로 직교함을 내적으로 확인함
  • a2가 a1의 배수이면 직교화 과정에서 u2가 영벡터가 됨
  • 선형독립인 a1, a2의 임의 선형결합을 u1, u2로 다시 쓸 수 있음을 보임

확장과 기여 방식

• 문제 모음은 시간이 지나며 새 문제 추가를 통해 커지는 것을 목표로 함
• LaTeX 소스 코드는 GitHub 저장소에 공개되어 있음
• 실수나 오탈자는 GitHub 이슈로 보고할 수 있음
• 더 큰 기여를 원하면 직접 연락하는 방식이 안내되어 있음

[GN⁺]

Hacker News 의견들

• 멋져 보이지만, 머신러닝을 공부할 때 가장 답답한 점은 이론을 아무리 깊게 파도 실제 선택과 어떻게 연결되는지 잘 안 보인다는 것임
  예를 들어 한 층의 뉴런 수, 층 수, 활성화 함수, 신경망을 쓸지 다른 기법을 쓸지 같은 결정을 이론이 어떻게 도와주는지 알고 싶음

  • 도움이 될 수도 있음: https://github.com/google-research/tuning_playbook
  • 층별 뉴런 수, 층 수, 활성화 함수 같은 것마다 거의 모든 머신러닝 논문에 대규모 제거 실험이 붙는 걸 보면, 그 부분은 사실 아무도 확실히 모른다는 신호에 가까움
    그냥 이것저것 무작위로 시도해 보고 잘 되는 걸 찾고, 서로 아이디어를 베끼면서 흐릿한 지침이 생기는 분야임
    논리적이고 설명 가능한 것을 원한다면 최악의 분야에 가깝고, 대부분은 데이터셋에 라벨을 붙이고, 연산 비용을 내고, 잘 되길 바라는 일임
  • 대부분은 순수 이론이나 순수 실무만으로 배울 수 없고, 현대의 일과 관련된 거의 모든 것도 마찬가지임
    머신러닝에서는 모든 것을 이론으로 유도할 수 없음. 그게 가능했다면 정말 큰 대규모 언어 모델의 성능에 그렇게 놀라지 않았을 것임
    동시에 관련 수학을 추론할 수 없다면, 왜 안 되는지나 어떤 선택지가 있는지 파악하기 어려워짐. 구조, 손실 함수, 활성화 함수, 최적화 기법, 하이퍼파라미터, 학습 시간과 자원 등 수많은 요소가 얽혀 있음
  • 현재는 머신러닝 실무가 이론보다 훨씬 앞서 있음. 이론이 따라잡더라도 질문의 답은 데이터를 생성하는 과정의 성격에 의존할 가능성이 커서 결국 경험적으로 답해야 할 것임
    이론의 가치는 일반적인 개념 틀을 제공하는 데 있다고 봄. 오늘날 알고리즘의 점근 이론이 어떤 알고리즘을 써야 하는지 딱 말해주지는 못하지만, 넓은 방향은 제시해 주는 것과 비슷함
  • 초보자 입장에서 Andrew Ng의 Coursera 강의, 특히 신경망 부분에서 얻은 핵심은 “최소 필요량”보다 뉴런과 층을 더 넣는 것은 보통 괜찮다는 것임
    합리적인 정규화 항을 고려하면 과적합 위험이 크지 않지만, 슬프게도 그 최소값에 대한 규칙은 없어서 시행착오가 필요함. 반대로 네트워크를 무작정 키우면 비효율적이고 결국 느려짐
    활성화 함수는 출력층의 경우 대체로 풀려는 문제에 의해 결정되고, 내부층은 보통 ReLU로 시작한 뒤 문제에 맞는 휴리스틱으로 흔한 변형들을 시험하게 됨
    비슷한 문제에서 성공한 다른 모델을 출발점으로 삼는 것도 당연히 고려해야 함

• 정말 깔끔함. Tom Yeh의 AI By Hand 연습문제가 떠오름: https://www.byhand.ai/

  • 이런 걸 기대하고 있었고 매우 고마움. 원 글의 논문도 좋지만, 이미 내용을 아는 사람들에게만 잘 들리는 느낌이 있음
    자료 자체는 이미 해당 내용을 아는 사람에게 훌륭함

• 깔끔해 보임. 다만 문제 바로 다음에 해답이 있어서, 스스로 생각해 보기 전에 다음 문제 답을 읽지 않을 수 없다는 점이 아쉬움

• 정말 좋음. 머신러닝 일을 하고 있지만 수학 기초, 특히 선형대수와 행렬/텐서 연산에는 아직 가면증후군이 있음
  딥러닝 기초 역량에 초점을 둔 문제 세트 자료가 더 있으면 궁금함. 매일 조금씩 직접 해보는 방식, 그리고 여러 선생님의 관점에서 배우는 방식이 가장 잘 맞음

• 지금 “유용한” 머신러닝을 만드는 현업 실무자 중에 이 문제 일부를 풀 수 있는 사람이 얼마나 될까? 그리고 그래야 할까?

  • 아니라고 봄. 꼭 풀 수 있어야 하거나 그럴 필요는 없음
    이런 연습문제는 새로운 알고리즘이나 저수준 최적화를 개발하는 데 필요한 직관으로 이어지는 수학적 성숙도에 유용함
    기존 머신러닝 알고리즘을 학습시키고 배포해서 쓰는 일반적인 경우에는 필요하지 않음
  • 좋은 소식은, 최신 기법을 확장하는 데 관심이 없고 단순히 API 호출만 하고 싶다면 머신러닝을 깊게 배울 필요가 없다는 것임
  • “머신러닝 실무자”, “만든다”, “머신러닝”을 어떻게 정의하느냐에 따라 다름. 최적화 섹션을 보면, 어떤 사람들은 이를 매우 잘 이해하고 있어서 가능한 손실 함수, 매개변수 갱신 방식, 실패할 수 있는 지점을 머릿속에서 빠르게 반복해 볼 수 있음
  • 어떤 사람들은 공부를 잡일처럼 보고 일을 끝내는 데 필요한 최소한만 배우고 싶어함. 다른 사람들은 공부에서 통찰과 재미를 얻고 문제 풀이와 자료 읽기를 즐김
    두 접근 모두 기여할 수 있고 성공으로 이어질 수 있지만, 방식은 다름
  • 같은 점이 궁금함. 몇 년 동안 머신러닝 엔지니어로 일했고 이 분야 학위도 몇 개 있음
    문서를 훑어보니 거의 다 알아보긴 했지만, 맥락 없이 질문받으면 많은 주제를 떠올리지는 못할 것 같음. 한때는 가능했을 수도 있음
    다들 이런 내용을 어느 정도 기억하고 있는지 궁금함. 내가 수학을 원래 잘 못하던 사기꾼인 건지, 아니면 정기적으로 쓰지 않으면 시간이 지나며 잊는 게 당연한 건지 모르겠음

• 해답까지 포함돼 있어서 아름다움. 다른 주제에도 이런 종이와 펜 연습문제가 더 있으면 관심 있음

  • 어떤 다른 주제를 말하는지는 모르겠지만, “1000 exercises in probability”만으로도 한동안 바쁠 것임. PDF는 온라인에서 찾을 수 있음
    다른 수학 지향 퍼즐로는 “The colossal book of short puzzles and problems”와 “The art and craft of problem solving”을 보면 됨

• 예전에 논의된 적 있음: Pen and paper exercises in machine learning (2021) - https://news.ycombinator.com/item?id=31913057 - 2022년 6월, 댓글 55개

• 수학자들이 항상 선형대수와 행렬 이론을 머신러닝에 슬쩍 끼워 넣으려 하는 게 웃김. 잘 모르면 학계가 대규모 언어 모델을 발명했고 자문해야 할 전문가인 줄 알겠음
  오히려 학계와 이론가들은 머신러닝을 지연시켰고, 계산 기법을 너무 저급하게 봐서 여러 세대의 대학원생에게 이 예시 같은 기호적 증명을 강요했다고 봄

  • 기존 기법을 쓰는 데서 그치지 않고 머신러닝에 기여하고 싶다면, 수학 역량이 가장 큰 제한 요인임
    선형대수에 능숙하지 않은데 기여하고 있는 사람이 누가 있음?
    그리고 왜 전체 분야를 대규모 언어 모델로 요약하는지도 의문임
  • 흥미로운 관점임. 기호적 증명보다 계산 기법을 우선하는 자료를 추천할 수 있을까?
  • 흥미로움. 그런 예를 하나 공유해 줄 수 있을까?

• arXiv는 연구 수준 논문을 위한 곳 아닌가? 이런 자료가 거기에 올라와 있어서 놀라움