- 다양한 딥러닝 모델이 서로 다른 데이터와 초기값으로 학습되더라도, 공통된 저차원 파라미터 부분공간으로 수렴함이 대규모 실험으로 확인됨
- 1100개 이상의 모델(500 Mistral-7B LoRA, 500 Vision Transformer, 50 LLaMA-8B 등)을 스펙트럼 분석한 결과, 대부분의 분산이 소수의 주성분 방향에 집중됨
- 이러한 보편적 부분공간(Universal Subspace) 은 모델 구조에 따라 형성되며, 데이터나 초기화와 무관하게 반복적으로 나타남
- 이 구조는 모델 압축, 파라미터 효율적 학습, 모델 병합, 빠른 추론 등에서 큰 잠재력을 가짐
- 연구는 신경망의 내재적 구조와 일반화 능력을 새롭게 이해할 단서를 제공하며, 향후 효율적 학습 알고리듬 설계에 중요한 기반이 될 수 있음
보편적 부분공간의 발견
- 다양한 데이터셋과 초기화, 하이퍼파라미터로 학습된 딥러닝 네트워크들이 공통된 저차원 부분공간으로 수렴함이 관찰됨
- 이 현상은 아키텍처별, 층별로 유사한 저랭크 구조로 나타남
- 학습 데이터나 손실 함수가 달라도 동일한 구조적 경향을 보임
- 스펙트럼 분석 결과, 개별 과제의 가중치 공간이 서로 다른 듯 보이지만 실제로는 공유된 저차원 공간의 일부로 존재함
- 이러한 결과는 과적합 모델이 일반화하는 이유, 다른 초기화가 유사 표현으로 수렴하는 이유, 파라미터 효율적 미세조정이 성공하는 이유를 설명할 수 있는 근거로 제시됨
대규모 실험 및 분석
- 연구는 500개의 Mistral-7B LoRA 어댑터, 500개의 Vision Transformer, 50개의 LLaMA3-8B 모델을 포함한 1100개 이상 모델을 분석
- 각 모델은 서로 다른 데이터셋과 초기화 조건에서 학습됨
- 주성분 분석(PCA) 결과, 소수의 주성분이 대부분의 분산을 설명하며, 이는 공유된 저랭크 부분공간의 존재를 시사
- 특히 무작위 초기화된 500개의 ViT 모델조차 동일한 저차원 부분공간으로 수렴, 이는 신경망의 근본적 성질로 해석됨
이론적 모델링과 수학적 정식화
- 연구는 예측기를 힐베르트 공간(Hilbert space) 상의 요소로 모델링하여, 여러 과제 간의 공통 부분공간 복원 조건을 분석
- 각 과제의 예측기 ( f_t^* )로부터 공통 2차 모멘트 연산자 S를 정의하고, 학습된 예측기 ( \hat{f_t} )로부터의 근사 연산자 ( \tilde{S} )가 S로 수렴함을 증명
- Theorem 2.5는 학습된 부분공간이 실제 공통 부분공간으로 수렴함을 보이며, 수렴 속도는 과제 수(T) 와 각 과제의 추정 정확도(η) 에 의해 결정됨
- 고유값 간격(γₖ) 이 클수록 부분공간 복원이 안정적임
응용 가능성 및 영향
-
공유된 부분공간을 활용하면 다음과 같은 응용이 가능
- 전체 가중치 대신 부분공간 계수만 저장하여 모델 압축
- 학습된 부분공간 내에서 새 과제에 빠르게 적응
- 일반화 한계와 최적화 지형에 대한 이론적 통찰 제공
- 훈련 및 추론의 계산 비용 절감으로 탄소 배출 감소 가능
- 이러한 구조는 모델 재사용성, 멀티태스크 학습, 모델 병합 등에서도 효율성을 높일 수 있음
향후 연구 과제
- 아키텍처 간 보편적 부분공간의 차이와 그 기하학적 최적화 가능성은 미해결 과제로 남음
- 모든 네트워크가 동일한 부분공간으로 수렴할 경우, 편향과 실패 모드의 공유로 인한 다양성 부족이 새로운 병목이 될 수 있음
- 향후 연구는 이러한 수렴을 의도적으로 분산시키는 방법 개발이 필요함
주요 기여 요약
- 딥러닝 네트워크의 파라미터 공간에서 보편적 저차원 부분공간 존재를 실증
- 다양한 과제 세트로부터 근사 공유 부분공간 학습 방법 제시
- 학습된 부분공간을 이용해 새 과제에 적은 파라미터로 효율적 적응 가능함을 검증
- 모델 압축, 빠른 학습 및 추론, 효율적 스케일링에 활용 가능성 제시