기초 원리에서 배우는 학습 이론 [PDF]

[GN⁺]

Hacker News 의견들

• 공짜 점심 없음 정리를 언급할 때는 실제로는 그다지 걸림돌이 되지 않는다는 단서도 함께 붙어야 함
  데이터가 현실 세계에서 온다는 가정만으로도 이 정리가 방해가 되지 않을 만큼 충분함
  이 책은 그 점을 전혀 다루지 않는데, 여기서 “모든 분포”란 동전 던지기로 생성되는 모든 가능한 비트열 같은 것을 불연속 함수의 고차원 공간으로 일반화한 것에 가깝고, 연속 함수는 그중 아주 작은 부분집합에 불과하다고 설명했으면 좋겠음
  결국 데이터가 “모든 가능성”의 균등 무작위 분포에서 나온다면 다음 동전 던지기 결과 같은 것은 학습해 예측할 수 없다는 뜻에 가까움

  • 맞음. 이런 종류의 공짜 점심 없음 정리나 지나치게 일반적인 가정을 둔 결과들은 대체로 너무 비관적으로 보이는 편임
    예를 들어 많은 사람이 정지 문제나 Rice 정리 때문에 정적 프로그램 분석이 불가능하다고 순진하게 생각하곤 함
  • Hume의 귀납 문제와 비슷함. 가정 없이는 과거 관찰을 미래 예측과 연결할 수 없음
    해가 천 번 아침에 떴다고 해서 내일도 뜰 가능성이 자동으로 높아지거나 낮아지지는 않으며, 시간이 지나도 사건들이 대체로 비슷하게 이어진다는 식의 가정을 해야 함
    그런 가정은 데이터에서 뽑아낼 수 없음. 과거에는 비슷하게 이어졌더라도 미래에 대해서는 아무 말도 해주지 않음
    그래도 과학은 이 문제에도 불구하고 잘 굴러가고, 기계학습도 사람들이 알고리즘을 설계할 때 경험과 사전지식을 쓰기 때문에 계속 잘 작동함
    이런 가정들을 귀납 편향이라고 부르며, 학습이 “가까운 것들은 대체로 비슷하다” 같은 특정 패턴 쪽으로 기울게 만듦
  • 그 단서가 어떻게 적용되는지 잘 모르겠음. 공짜 점심 없음 정리는 어떤 문제들은 학습 불가능하다는 뜻이 아니라, 모든 문제 부류에 잘 작동하는 단일 알고리즘은 없다는 뜻으로 이해함
    증명에 나오는 예시는 인위적일 수 있지만, 실제로는 추가 가정에 따라 다른 알고리즘을 고르게 되는 것 아닌가?

• 학습 이론은 자연과학을 의사결정까지 형식화하려는 시도임. 자연과학의 숨은 가정은 충분히 정교한 알고리즘적 세계 모델로 과거 관찰에서 미래 관찰을 예측할 수 있다는 것임
  이는 Solomonoff가 귀납 추론을 증명할 때 둔 가정과 같으므로, Rissanen의 이른바 “보편” 부호화가 아니라 튜링 완전 부호화에서 출발해야 함
  하위 이론을 만들 때 그 출발점에서 벗어나는 것은 괜찮지만, 거기서 시작하지 않으면 지난 50년 동안 “최소 기술 길이 원리”가 정확히 무엇을 뜻하는지 둘러싼 혼란 같은 쓰레기 결과로 이어짐
  다만 인과 모델을 만들려는 경우라면 괜찮지 않음. 동역학계를 모델링하려면 튜링 완전 코드에서 벗어날 수 없음
  동역학계를 매우 많은 상태를 가진 유한 상태 기계로 볼 수는 있지만, 최적으로 압축된 코드를 만들려면 매우 크지만 유한한 수의 플립플롭이나 NOR, NAND 같은 범용 게이트의 방향성 순환 그래프 위에서 실행되는 튜링 완전 의미론이 필요함

• 이중 하강의 원인이 뭔지 이제 알아냈나?

  • 일반화된 결과인지는 모르지만, Anthropic의 Circuits 팀이 꽤 설득력 있는 가설을 냈음. 첫 번째 하강 국면은 모델이 데이터 포인트를 외우는 단계이고, 두 번째 하강 국면은 기하학적으로 특징을 학습하는 쪽으로 이동하는 단계라는 것임
    여기서 특징은 추상적이고 매우 높은 차원의 벡터 공간으로 볼 수 있음
    이 팀은 하나의 뉴런이 여러 개념을 인코딩하는 중첩 아이디어를 깊게 조사 중임
    잠재 특징을 명시적으로 표현한 뒤 작은 데이터 차원 집합으로 압축하는 장난감 모델과 데이터셋을 실험해 중첩을 강제로 만들고, 학습 데이터 크기에 따라 그 중첩이 어떻게 보이는지 보여줌
    명백히 장난감 모델이지만, 적어도 중첩을 겪는 모델에 대해서는 설득력 있는 생각임
    https://transformer-circuits.pub/2023/toy-double-descent/ind...
  • 아주 최근에 통계역학으로 이중 하강을 설명할 수 있다고 주장한 블로그 글이 있었음 https://calculatedcontent.com/2024/03/01/describing-double-d...
    더 자세한 내용은 여기 있음: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
  • 전문가는 아니지만, 이 논문은 단순한 모델로 이중 하강을 탐구함
    해석은 이렇음. 과매개변수 영역으로 확장하면 작은 노름의 가중치 쪽으로 최적화할 수 있고, 이런 가중치는 다시 일반화가 잘됨
    이게 이중 하강을 일반적으로 설명하는지는, 심층 신경망 같은 다른 모델에도 적용되는지는 별개의 질문임
    https://arxiv.org/pdf/2303.14151.pdf
  • 아직 모름. 개인적으로 좋아하는 가설은 확률적 경사 하강법이 말 그대로 확률적이라는 점임
    학습 말뭉치 전체가 아니라 아주 작은 부분집합에 대해 최적화하므로 기울기가 정확하지 않음
    과도한 학습이 지역 최적해를 밀어붙이고, 국소적인 과적합 웅덩이를 우회하는 대신 실제 분포 쪽으로 재귀적으로 나아가게 해준다는 생각임

• 인터넷에는 학계, 교육자, 엔지니어가 쓴 훌륭한 수학 PDF가 무료로 정말 많음. 문제는 내용 중복도 엄청나게 많다는 것임
  겹치는 자료 묶음을 중복 없이 일관된 하나의 PDF로 잘 종합해주는 AI 모델을 만들 수 있을지 궁금함

  • 그냥 해당 대학 강의에서 쓰는 책을 고르면 될 수도 있음
  • AI 모델까지 필요 없음. Murphy의 Probabilistic Machine Learning은 훌륭한 참고서이자 자료임

• 사소한 트집이지만 제목이 헷갈림. 첫 단어는 Machine-Learning이나 Statistical-Learning으로 바꾸는 편이 맞음
  가능하면 저자가 언젠가 그렇게 고쳤으면 좋겠음

• 읽기가 꽤 어려움. 예를 들어 1장 첫 페이지에서 이차 형식의 최소화를 이야기하고 선형 최소제곱법 공식처럼 보이는 것을 보여주는데, 그게 맞는지 아무 설명이 없음
  해설이 조금 더 있으면 도움이 될 듯함
  연습문제가 많은 점은 마음에 듦

  • 이 글은 어느 정도 수학 배경이 있는 사람이 학습 이론을 이해하려고 볼 때 맞춰진 듯함
    게다가 해당 장은 복습이라고 명확히 적혀 있어서, 그 내용은 다른 곳에서 이미 배웠거나 배울 것이라고 가정하는 셈임
  • 제1원리에서 시작한다고 해서 읽기 쉽다는 뜻은 아님
  • 형제 댓글 말처럼 이 자료는 처음 배우는 사람을 겨냥한 것이 아닌 게 분명함
    그래도 직감은 맞음. 일반 최소제곱법의 목적 함수를 써보면 이차 형식이 됨
    여기서 “이차”라는 단어 선택은 우연이 아니며, 이차 함수를 행렬로 일반화한 것임
    그 절은 이차 함수를 최소화하는 것의 벡터 버전을 다룸
  • 확실히 제1원리에서 시작하는 것처럼 보이진 않음
  • 최소제곱법은 이차식임
    이차란 제곱항이 있다는 뜻임

• 흥미롭다. 이 주제에 관한 좋은 책이 있나?

• 흥미로움. 시간이 더 있을 때 훑어봐야겠음
  대충 보기에는 이 책 [1]과 상당히 많은 내용을 같이 다루는 것 같음. 둘이 어떻게 다른지 궁금함
  [1]: https://www.cambridge.org/core/books/understanding-machine-l...

  • 2014년에 나온 기계학습 책이라니, 이제는 고풍스럽고 역사적인 느낌임

• GPT-5에게 “시도해보고 싶은 아이디어가 있는데, 이 책을 읽고 그걸 더 잘 작동하게 만드는 데 관련 있는 내용이 있는지 알려줘”라고 말할 날이 기대됨

  • LLM이 새로운 아이디어를 만들어냈다는 얘기는 들어본 적이 없음. 이미 누군가 시도한 적 있는 아이디어일 때만 가능한 것 아닌가?
  • $this에 대한 맥락 전달이 어려운 부분이라는 걸 깨닫고 있음
    사용자로서의 내 맥락을 저차원 변수 몇 개로 설명하기가 매우 어렵고, 나 자신도 우주 안에서 내 상황을 AI에게 설명할 만큼 이해하지 못함
    AI와 공유하는 어휘도 부족함. 인터넷은 HTTP라는 공유 프로토콜로 합의된 상태를 일관되게 주고받는 데 성공한 느낌임
    예를 들어 Uber 안에서는 전화번호, 차량, GPS, 현재 시각, 결제 같은 좁은 요청-응답 세계로 상태를 전달할 수 있음
    하지만 알고리즘을 배우려는 학생으로서 내 나이, 인터넷 사용 환경, 사는 곳, 그래픽 설명 선호, 두꺼운 책에 겁먹은 이력, CS50 같은 이정표, Python 숙련도 같은 복잡한 정보를 어떻게 넘길지 모르겠음
    스타트업 아이디어도 “견인력이 낮다”는 말만으로는 부족하고, VC·개발자·영업 네트워크, 성공한 파트너십의 증거, 참석자 수, 매출 같은 상태를 전달해야 함
    실제 세계에서도 각자의 맥락이 너무 달라 이런 어휘는 작은 주머니들 안에만 존재함
    지식이 전역적이고 영원한 변수처럼 존재한다고 가정하는 것도 문제임. 어떤 지역에서는 전기도 없고 기본 휴대폰조차 없는 사람이 많아, AI가 추천한 PDF가 도움이 될지조차 지역 권력 구조와 거버넌스에 따라 달라짐
    앞으로 어떻게 진화할지는 모르겠지만 가능성을 생각하는 것만으로도 흥미로움. 컴퓨터는 우리와 쉽게 대화할 수 있고 첫날부터 똑똑한 아기 같지만, 결국 충분하고 적절하며 저렴한 데이터를 넣지 못하는 것이 유용성을 더 끌어내는 진짜 병목일지도 모름
  • 그 책을 직접 읽으면 아이디어가 더 좋아질 것임. 그 과정에서 새로 배우는 것도 있을 수 있음