네 개의 비영 매개변수로 코끼리 맞추기

 (arxiv.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 1953년 Enrico Fermi가 Johnny von Neumann의 말을 빌려 Freeman Dyson의 모델을 비판한 일화에서, “네 매개변수로 코끼리를 맞춘다”는 문제가 출발함
  • 이 인용은 매개변수가 많아질수록 모델이 데이터에 잘 맞아 보여도 물리적 의미까지 보장되지는 않는다는 비판으로 쓰였음
  • 이전 시도들은 조건을 완전히 만족하지 못했음: Wei는 20개가 넘는 매개변수를 썼고, Mayer et al.은 네 개의 복소수로 보였지만 실제로는 8개 매개변수에 해당함
  • Paintadosi의 한 매개변수 방식은 어떤 형태든 그릴 수 있지만, 형태를 매우 긴 실수 정밀도로 인코딩하는 방식이라 이 문제의 취지와 맞지 않음
  • 문제 자체가 충분히 정의되지 않았던 한계를 짚고, 주어진 조건에서 네 개의 비영 매개변수만으로 코끼리 곡선을 맞추려는 시도임

Fermi의 비판에서 시작된 문제

  • 1953년 Enrico Fermi는 Dyson의 모델을 비판하며 Johnny von Neumann의 말을 인용함
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • 이 말은 모델이 복잡하고 데이터에 잘 맞더라도, 단순히 매개변수 수를 늘린 결과라면 실제 물리적 의미를 보장하기 어렵다는 뜻으로 쓰임
  • 핵심 질문은 실제로 네 개의 매개변수만으로 코끼리를 맞출 수 있는지임

기존 해법이 요구사항을 비껴간 지점

  • Wei는 푸리에 급수(Fourier series) 로 코끼리를 맞추려 했지만, 적당히 좋은 결과를 얻는 데 20개가 넘는 매개변수가 필요했음
    • 결과도 “3학년 미술 선생님”을 만족시키지 못할 수 있다고 평가됨
  • Mayer et al.은 네 개의 복소수로 코끼리를 맞췄음
    • 복소수는 실수부와 허수부를 가지므로 실제로는 8개 매개변수를 사용한 셈임
    • 0인 매개변수까지 세면 20개가 됨
    • 결과 이미지는 Picasso 같은 스타일로 아름답다고 평가됨
  • Paintadosi는 하나의 매개변수만으로 충분하다고 주장하며, 한 매개변수로 어떤 형태든 그릴 수 있는 함수를 구성함
    • 하지만 이는 형태를 수백 또는 수천 자리 정밀도의 실수 하나로 매핑하는 인코딩에 가까워, 이 문제에서는 유효한 해법으로 보기 어려움
    • 해당 작업의 초점은 매개변수 개수 세기가 모델 복잡도의 척도로 실패할 수 있다는 점임
  • 이 논문은 먼저 문제 조건을 정리한 뒤, 기존 시도와 달리 네 개의 비영 매개변수로 코끼리를 맞추는 방법을 제시함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 글의 아이러니한 면이 마음에 듦. Fermi와 von Neumann이 왜 그런 말을 했는지도 덧붙이면 좋겠음
    물리학에서 현실의 모델을 만들 때 실험과 맞지 않는다고 매개변수를 하나씩 추가해 데이터를 맞추면 안 됨. 이상적으로는 매개변수가 0개이거나 최소여야 하고, 더 깊게는 단순한 가정에서 자연스럽게 매개변수가 나와야 함. 매개변수가 4개면 실제 현실의 측면을 포착한 건지, 실험 데이터를 그냥 맞춘 건지 알기 어려움

    • 논문 첫 문단에 이미 나온 내용이고, 논문 자체가 대체로 유머러스한 글임
      다만 그 격언의 지혜는 여러 분야에서 꽤 잊힌 듯함. 많은 분야에서 데이터가 수십 개 매개변수를 가진 거대한 회귀 모델이나, 수십억 매개변수의 신경망으로 “모델링”됨

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • 매개변수 0개 모델은 첫 원리에서 유도될 수 있으니 수학에 더 가까운 것 같음. 예를 들어 유클리드 공간을 가정하면 구의 표면적 같은 식이 나옴
      물리학은 실제 공간의 곡률이나 중력 가속도처럼 측정해야 하는 자연 상수가 최소 하나는 있을 때 시작된다고 봄
    • Hodgkin과 Huxley는 오징어의 거대 축삭을 연구하며 신경 활동을 모델링한 획기적인 작업을 했음
      기록된 전위와 주입 전류에 대한 곡선 맞춤에서 여러 매개변수를 뽑았고, 훨씬 나중에 그것들이 나트륨 통로에 대응됨. 비슷하게 다른 과정은 칼륨 통로에 대응됐음. 매개변수가 여러 개, 심지어 4개라도 3개로 모델을 설명할 수 없다면 너무 걱정할 일은 아니라고 봄
    • 실제로 처음 구현한 예는 James Wei의 Least square fitting of an elephant(1975, Chemtech)였음

  • 이 글은 유머러스하고 잘 쓰였지만, 그 이상이라고 생각함
    ML/AI는 그냥 곡선 맞춤이라는 농담 겸 관찰을 자주 함. “그냥 곡선 맞춤”만으로 지능적인 무언가가 나오는지는 아직 답이 없다고 보며, “지능적”이라는 말의 의미가 사람마다 다르기 때문이 큼
    여기서는 매우 깔끔하고 이해하기 쉬운 곡선 맞춤을 보여주지만, 본질적으로는 같은 과정임. 목표를 정하고, 손실 함수 위에서 최적화하고, 일반화되길 바라는 것임. 물론 이 코끼리는 일반화되지 않지만 귀엽긴 함
    그래서 von Neumann이 던진 질문, 왜 그렇게 많은 매개변수가 필요한가로 돌아가게 됨. 아이러니하게도 최근에는 엄청난 수의 매개변수로 많은 일을 해냈고, 답은 “매개변수가 많으면 멋진 일을 할 수 있다”가 된 셈임

    • 현실 세계에 대한 지속적인 곡선 맞춤은 지능을 만들 수 있음. 빠진 것은 모델 내부의 무언가가 아니라, 탐색하고 검색하고 경험을 확장하는 메커니즘임
      현재 LLM들은 인간의 경험에 올라타 있을 뿐, 자기 경험을 만드는 데 크게 참여하지 않았음. 그래서 모방 학습이나 앵무새라고 부르는 것임. 하지만 모델이 더 에이전트처럼 되면 스스로 유용한 경험을 만들 수 있고, AlphaZero가 그걸 보여줌
    • AI에서는 매개변수가 많을수록 좋고, 물리학에서는 그 반대임
    • 세부가 핵심임. 강화학습에서는 목표가 움직이고, 딥러닝에서는 과도한 최적화를 막기 위해 조기 종료 같은 기법을 자주 씀

  • Freeman Dyson이 이 논문에 영감을 준 일화를 Web of Life 인터뷰에서 회고함. 코끼리 맞춤 부분으로 바로 이동한 링크도 있음
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • 매개변수 하나면 충분함: https://aip.scitation.org/doi/10.1063/1.5031956

    • 파일 안이 아니라 파일명에 데이터를 저장하면 무제한 압축을 달성할 수 있다는 얘기와 비슷함
    • 논문에서 이렇게 말함

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • 매개변수 개수는 잘못된 척도임. 매개변수 값에 담긴 정보량, 엔트로피, 콜모고로프 복잡도 같은 쪽을 봐야 함
    • 하드디스크 전체가 하나의 숫자라고 말하는 것과 비슷함

  • 아쉽게도 논문에는 상수항, 즉 평균 r_0가 명시되어 있지 않음. 대략 180 근처로 보이는데, 이미지를 만들려면 이 값을 맞춰야 하고 이를 다섯 번째 필수 매개변수로 보지 않을 방법이 없어 보임
    그래서 목표를 진짜 달성했다고 보긴 어려움. 물론 정말 재미있었음

    • 본문에서는 그 값이 맞추려는 데이터 포인트들의 평균값이라고 말함. 이를 매개변수로 셀지는 표준화를 모델의 일부로 보느냐에 달린 듯함

  • Dyson의 Web of Stories 인터뷰에 나온 멋진 대목이었고, 저자들에게도 그랬듯이 나에게도 와닿았음
    Dyson이 파이온의 유사스칼라 이론에 대한 예비 결과를 Fermi에게 가져갔을 때의 일임. Fermi는 아주 빠르게 전체를 기각했고, Dyson에게는 충격이었지만 더 시간을 낭비하지 않게 해줬음
    Fermi: 이론 계산을 할 때는 명확한 물리적 모델이 있거나 엄밀한 수학적 기반이 있어야 합니다. 당신에게는 둘 다 없습니다. 맞춤에 자유 매개변수를 몇 개나 썼습니까?
    Dyson: 4개입니다
    Fermi: Johnny von Neumann이 늘 이렇게 말하곤 했죠. “매개변수 4개면 코끼리를 맞출 수 있고, 5개면 코를 흔들게 할 수 있다”

  • arXiv에 유머가 더 많았으면 좋겠음
    회사 자원을 쓰지 않고 개인 시간에 발견을 하게 된다면, 가능한 한 가장 유머러스한 방식으로 발표할 것임

  • Dr. Octave Levenspiel도 빼놓을 수 없음. 학부 때 그는 명예교수였고, 산업용 유동층 분야를 비롯해 많은 작업을 했음
    코끼리 곡선 논의는 당시 불균일 촉매 반응에서 복잡한 다중 매개변수 맞춤을 비판하는 맥락이었음. https://levenspiel.com/elephants/
    그는 한동안 공룡의 비행에 관한 공기역학 논문을 출판하려고도 했음. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    이런 지적 호기심은 Feynman의 접시 돌리기를 조금 떠올리게 함

  • D’Arcy Thompson의 On Growth and Form은 왜 언급이 없나? 생물체에 대한 그의 매개변수 모델은 꽤 멋졌음. 매우 단순하긴 했지만
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • 내가 이해한 바로는, 실수 매개변수의 푸리에 급수 r(theta) = sum(r_k cos(k theta))는 원점에서 나가는 각 방사선마다 한 점만 있는 “출렁이는 원” 형태만 그릴 수 있음
    복소수 매개변수 z(theta) = sum(e^(z_ theta))는 더 구불구불한 도형, 즉 주전원을 그릴 수 있음. 그리는 팔이 회전하는 동안 펜이 되돌아갈 수 있고, 각 매개변수는 이전 매개변수에서 계산된 점 주변의 작은 원 위 어딘가로 점을 움직일 수 있음
    필수 3B1B 영상: https://m.youtube.com/watch?v=r6sGWTCMz2k
    복소수 매개변수 하나는 실수 매개변수 2개이므로, 최고의 4개 코사인 곡선과 최고의 2개 복소 지수 곡선을 비교해야 함

답변달기