- 딥러닝의 학습 과정, 은닉 표현, 최종 가중치, 성능 등 주요 속성을 특성화하는 과학적 이론이 형성되고 있다는 주장을 담은 논문
- 다섯 가지 연구 흐름(해석 가능한 이상화 설정, 다루기 쉬운 극한, 단순 수학 법칙, 하이퍼파라미터 이론, 보편적 행동)을 핵심 근거로 제시
- 이 이론은 학습 과정의 역학에 초점을 두며, 거친 집계 통계를 기술하고 반증 가능한 정량적 예측을 강조
- 이 새로운 이론 프레임워크를 학습 과정의 역학, 즉 "learning mechanics" 라는 이름으로 제안
- deep linear network, NTK, mean-field와 lazy-rich 구분 같은 결과들은 학습 동역학, 일반화, feature learning, scaling law를 정량적으로 다룰 수 있게 만듦
- 통계적·정보이론적 관점 및 mechanistic interpretability와의 공생 관계를 예측하며, 딥러닝 이론의 미래 방향을 조망
논문의 핵심 주장
- 딥러닝의 학습 과정, 은닉 표현, 최종 가중치, 성능 등의 중요한 속성과 통계를 특성화하는 과학적 이론(scientific theory) 이 부상하고 있음
- 현재 진행 중인 딥러닝 이론 연구의 주요 흐름을 종합하여, 이 이론의 존재를 뒷받침하는 다섯 가지 연구 방향을 식별
- (a) 해석 가능한 이상화 설정(solvable idealized settings): 현실적 시스템의 학습 역학에 대한 직관을 제공
- (b) 다루기 쉬운 극한(tractable limits): 근본적 학습 현상에 대한 통찰을 드러냄
- (c) 단순 수학 법칙(simple mathematical laws): 중요한 거시적 관측량(macroscopic observables)을 포착
- (d) 하이퍼파라미터 이론(theories of hyperparameters): 하이퍼파라미터를 학습 과정의 나머지 부분으로부터 분리하여 더 단순한 시스템을 남김
- (e) 보편적 행동(universal behaviors): 시스템과 설정에 걸쳐 공유되는 현상을 통해, 어떤 현상에 설명이 필요한지를 명확히 함
- 부상 중인 이론을 학습 과정의 역학으로 보는 것이 가장 적절하며, "learning mechanics" 라는 명칭을 제안
- 통계적(statistical) 관점, 정보이론적(information-theoretic) 관점 등 딥러닝 이론 구축을 위한 다른 접근법과의 관계를 논의
- 특히 learning mechanics와 mechanistic interpretability 사이의 공생적 관계(symbiotic relationship)를 예측
서론
- 딥러닝은 매우 강력하지만, 내부 작동 원리를 통합적으로 설명하는 과학적 틀은 아직 부족함
- 신경망은 다양한 작업에서 초인간적 성능을 보이지만, 왜 그렇게 동작하는지와 어떻게 그런 성능이 나오는지에 대한 통합 이론은 부재함
- 실제 훈련 방식도 여전히 first principles보다 시행착오에 크게 의존하며, 이론은 일상적인 딥러닝 실무에서 역할이 제한적임
- 대규모 언어 모델과 diffusion model 시대로 오면서 미스터리는 더 깊어졌지만, 과학적 딥러닝 이론은 실제로 형성되기 시작했고 그 형태는 학습 과정의 mechanics에 가까움
- 딥러닝 이론의 초점은 시간에 따라 바뀌어 옴
- 초창기에는 모델이 어떤 함수를 표현할 수 있는지와 데이터를 통해 어떻게 학습하는지가 중심이었음
- 이후에는 유한 표본에서 언제 일반화되는지로 이동하며 classical learning theory, 계산학습이론, PAC 이론, 고전 최적화 이론이 발전함
- 동시에 단순 모델의 평균적 거동을 다루는 statistical physics of machine learning 전통도 함께 형성됨
- 다층 네트워크, backpropagation, 데이터와 계산 자원의 대규모화는 기존 이론의 한계를 드러내게 만듦
- 신경망은 비볼록, 과매개변수화된 구조를 가지며, 고전 이론이 잘 다루던 단순하고 볼록한 모델과 다름
- 낮은 학습 오차를 넘어서 구조화된 내부 표현을 학습하고, 과제와 스케일 전반에서 규칙성을 드러냄
- 이 변화로 딥러닝 이론은 무엇이 가능한지를 수학적으로 묻는 단계에서, 복잡한 경험적 시스템의 거동을 기술하고 예측하는 과학적 단계로 옮겨감
- 따라서 경험적 관찰을 포용하고, 통합 원리를 찾고, 반복적으로 나타나는 패턴을 식별하는 과학적 접근이 필요함
- 앞으로의 경로도 순수 수학 분야의 전개보다는 하나의 과학 분야가 성숙해 가는 과정에 더 가까울 것으로 봄
learning mechanics란 무엇인가
- 신경망 학습은 물체가 공간과 시간 속을 움직이는 mechanics와 유사하게 볼 수 있음
- 물체가 힘을 받아 물리 공간을 연속적으로 이동하듯, 모델은 이산적 업데이트를 통해 parameter space를 이동함
- 물리학에서 힘이 시스템 구성 요소 사이 상호작용에서 나오듯, 딥러닝에서도 파라미터, 데이터셋, 과제, 학습 규칙의 상호작용이 학습을 형성함
- 물리학의 장과 딥러닝의 gradient 사이에도 대응 관계가 있음
- 물리계가 내부 상호작용과 외부 제약으로 결정되는 potential의 국소 최소점에 정착하듯, 신경망도 아키텍처와 학습 데이터가 만드는 loss landscape의 국소 최소점으로 수렴함
- 이런 비유는 단순한 수사에 그치지 않고, 현재 진행 중인 연구 흐름과도 맞물림
- mechanics의 여러 분야가 해석 가능한 설정, 단순화된 극한, 요약 통계, 시스템 파라미터 분석, 보편 현상을 활용하듯 학습 mechanics도 같은 도구를 사용함
- 특히 많은 상호작용 요소를 다루는 continuum mechanics와 statistical mechanics처럼, 딥러닝도 개별 요소 하나하나보다 확대된 수준의 통계량을 설명하는 방식이 유용함
- 이 연구 프로그램은 learning mechanics라는 이름으로 묶을 수 있음
learning mechanics에 필요한 7가지 조건
-
근본성
- 신경망 훈련을 first principles에서 출발해 논리적으로 전개해야 함
- 중간 단계에서 가중치, 동역학, 성능에 관한 가정이 도구로 쓰일 수는 있지만, 최종적으로는 이 역시 first principles로 설명되어야 함
-
수학성
- 중요한 신경망 특성에 대해 모호하지 않은 정량적 진술을 만들어야 함
- 질적 서술만으로는 mechanics가 성립하지 않음
-
예측 가능성
- 간단하고 반복 가능한 경험적 측정으로 검증되는 주장을 해야 함
- 시스템에 대한 실험 통제가 매우 뛰어나므로, 주요 진전은 실험으로 명확하게 검증될 수 있어야 함
-
포괄성
- 훈련 과정, 내부 표현, 최종 가중치를 하나의 그림으로 연결해야 함
- 모든 세부를 담으려 하기보다, 세부를 일부 희생하더라도 통찰을 주는 적절한 해상도를 택해야 함
-
직관성
- 기술적 복잡성보다 단순하고 illuminating한 통찰을 우선해야 함
- 딥러닝의 신비를 걷어내는 데서 만족감을 주는 이론이어야 함
-
유용성
- 물리학이 다른 공학의 기초가 되듯, 응용 딥러닝의 과학적 기반이 되어야 함
- 하이퍼파라미터 튜닝 감소, dataset design 예측 도구, AI safety의 엄밀한 기반 같은 구체적 목표가 포함됨
-
겸손함
- 무엇을 잘 설명하는지와 무엇을 설명하지 못하는지를 분명히 해야 함
- 현실적인 딥러닝에 적용 가능한 mechanics도 작고 수작업으로 설계된 특수한 경우들에서는 깨질 수 있으며, 이는 관심 있는 영역에서 단순한 그림을 얻기 위한 대가로 봄
왜 learning mechanics가 중요한가
-
과학적 이유
- 대형 신경망의 공학적 성공은 아직 이해되지 않은 학습과 표현의 깊은 원리를 활용하고 있음을 시사함
- 기술이 이론보다 먼저 나온 선례로 steam engine과 thermodynamics, 비행기와 aerodynamic theory가 제시됨
- 인공 신경망의 학습 원리는 biological intelligence를 이해하는 데도 빛을 줄 수 있고, 이는 neuroscience와 cognitive science에 함의를 가질 수 있음
-
실용적 이유
- 성숙한 딥러닝 이론은 모델 설계, 최적화, 스케일링, 배치를 더 신뢰할 수 있는 원리로 이끌 수 있음
- 이미 일부 영역에서는 이론이 역할을 시작했음
- empirical scaling laws
- 하이퍼파라미터 스케일링의 수학적 처방
- 이론적 동기로 설계된 optimizer와 data attribution 방법
- 더 깊고 완전한 이론은 이런 지침을 더 많이 제공하고, 더 날카롭고 예측적으로 만들 수 있음
-
안전 관련 이유
- 점점 강력해지는 AI 시스템을 기술하고, 특성화하고, 통제하려면 관련 변수와 메커니즘, 조직 원리를 분명히 할 수 있어야 함
- 명확하게 기술할 수 없는 기술을 규제하기는 어려우며, fundamental theory는 reliability, oversight, control에 필요한 명료함을 줄 수 있음
- 특히 mechanistic interpretability를 지원하는 방식으로 AI safety에 기여할 가능성이 제기됨
학습 mechanics가 나타나고 있다는 증거
- 딥러닝의 핵심 구성 요소는 명시적이고 측정 가능함
- 아키텍처는 단순한 선형·비선형 변환의 합성으로 정의된 신경망 f(x; θ) 로 주어짐
- 데이터는 미지의 데이터 생성 분포에서 나온 표본 집합 D = {(xi, yi)} 로 주어짐
- 과제는 데이터셋 위 성능을 재는 목적함수 L(θ) 로 정의됨
- 학습 규칙은 예를 들어
θ(t+1) = θ(t) −η∇L(θ(t))같은 gradient 기반 업데이트와 초기화, 최적화 하이퍼파라미터로 기술됨
- 학습 과정에서 숨겨진 것은 거의 없음
- 많은 복잡계와 달리, 딥러닝은 동역학을 지배하는 equations of motion을 직접 노출함
- 모든 weight, activation, gradient, loss를 기록할 수 있고, 그로부터 임의의 통계량도 만들 수 있음
- 실험 설계, 재현, 검증이 쉬워 경험적 규칙성을 발견하고 이론 예측을 엄밀히 시험하기에 유리함
- 중심 난제는 불투명성이 아니라 복잡성에 있음
- architecture, data, task, learning rule의 상호작용이 비선형, 결합적, 고차원적 학습 동역학을 만듦
- 하이퍼파라미터 선택에 민감하며, 데이터 분포 자체도 단순하게 특징지어지기 어려움
- 그럼에도 이 복잡성 아래에는 규칙성이 숨어 있으며, 이를 뒷받침하는 다섯 가지 관찰이 제시됨
- (a) 해석 가능한 이상화 설정(solvable idealized settings)
- (b) 다루기 쉬운 극한(tractable limits)
- (c) 단순 수학 법칙(simple mathematical laws)
- (d) 하이퍼파라미터 이론(theories of hyperparameters)
- (e) 보편적 행동(universal behaviors)
=== 논문 내용 생략 ===
- 추가 입문 자료, 관점, 열린 질문은 learningmechanics.pub에서 제공
- 논문은 41페이지로 구성