열역학적 자연 경사 하강법

 (arxiv.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • TNGD는 자연 경사 하강법(NGD) 을 아날로그 열역학 컴퓨터와 GPU의 하이브리드 루프로 실행해, 2차 최적화의 계산 부담을 낮추려는 신경망 학습 방법임
  • 2차 학습 방법은 손실 지형의 곡률 정보를 활용해 수렴 특성이 좋지만, 디지털 하드웨어에서는 피셔 정보 행렬 계산과 선형 시스템 풀이 비용 때문에 대규모 학습에 쓰기 어려움
  • 평형 상태의 아날로그 시스템이 가진 열역학적 성질과 물리적 Ornstein–Uhlenbeck process를 이용해 NGD의 파라미터 업데이트 규칙을 구현함
  • 사용자는 모델 아키텍처를 유지하고 아날로그 컴퓨터가 학습만 가속하므로, 모델을 하드웨어에 고정하는 일부 아날로그 추론 가속 방식과 다름
  • 수치 실험에서는 분류와 언어 모델 파인튜닝에서 최신 디지털 1차·2차 학습 방법보다 나은 결과를 보였고, 병렬화가 충분하면 Adam·SGD에 가까운 반복당 실행 시간이 가능함

TNGD가 겨냥하는 학습 비용 문제

  • 고도화된 AI 모델의 학습 비용이 커지면서, 세계 선도 모델은 학습에 수억 달러가 드는 수준임
  • 디지털 하드웨어에서는 Moore’s Law와 Dennard’s Law의 종료가 실행 시간과 에너지 효율에 영향을 주고 있음
  • 이런 제약은 AI 모델 학습 효율을 높이기 위한 특수 목적 비전통 하드웨어의 필요성을 키움
  • 디지털 하드웨어는 사용자가 선택할 수 있는 학습 알고리듬의 폭도 좁힘
    • SGD, Adam 및 변형이 DNN과 대형 AI 모델 학습에서 널리 쓰임
    • 더 정교한 옵티마이저는 계산 오버헤드가 커서 디지털 하드웨어에서 드물게 사용됨

2차 최적화의 장점과 병목

  • 2차 방법은 손실 지형의 곡률 정보를 포착하므로 이론적으로 더 강한 수렴 특성을 가짐
  • 자연 경사 하강법(NGD)은 피셔 정보 행렬 같은 2차 수량을 추정하고, 매 에포크마다 비용이 큰 선형 시스템 풀이를 수행해야 함
  • K-FAC 같은 NGD 근사 방식은 가능성을 보였고 Adam보다 우수한 성능도 보였지만, 임의의 신경망 아키텍처에 적용하기는 여전히 어려움

하이브리드 디지털-아날로그 학습 루프

  • TNGD는 GPU가 아날로그 열역학 컴퓨터와 통신하는 하이브리드 디지털-아날로그 루프로 동작함
  • 학습 중 일정 시간 간격으로 그래디언트와 피셔 정보 행렬 또는 다른 양의 준정부호 곡률 행렬을 계산하고, 그 사이에는 아날로그 동역학이 진행됨
  • 아날로그 시스템의 평형 상태에서 나타나는 열역학적 성질이 계산 자원으로 쓰임
  • 사용자는 모델 아키텍처를 제공하고, 아날로그 컴퓨터는 학습 과정만 가속함
    • 모델을 하드웨어에 고정해 사용자가 아키텍처를 자유롭게 바꾸기 어려운 일부 아날로그 AI 추론 가속 제안과 대비됨

계산 복잡도와 실험 결과

  • TNGD는 특정 파라미터 영역에서 NGD와 동등하지만, 비용이 지나치게 큰 선형 시스템 풀이를 피함
  • 물리적 Ornstein–Uhlenbeck process를 활용해 NGD의 파라미터 업데이트 규칙을 구현함
  • 반복당 실행 시간은 파라미터 수에 대해 선형으로 스케일함
  • 적절히 병렬화하면 Adam과 SGD 같은 1차 옵티마이저에 가까운 실행 시간이 가능함
  • 수치 실험에서는 분류 작업과 추출형 질의응답을 포함한 언어 모델 파인튜닝에서 TNGD가 최신 디지털 1차·2차 학습 방법보다 우수한 결과를 냄

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들
  • 핵심은 자연 그래디언트 하강법이 2차 방법이라는 데 있음. 주요 갱신식은 ∇̃L(θ) = F⁻¹∇L(θ)이고, 이는 선형 시스템을 풀어야 함
    여기에는 저자의 이전 논문 Thermodynamic Linear Algebra의 방법을 쓸 수 있음. 완전한 신경망을 열역학 컴퓨터에 구현하기는 어렵기 때문에, 논문은 일반 GPU와 병렬로 실행하는 방식을 제안함. GPU가 F와 ∇L(θ)를 계산하고, 선형 시스템은 디지털 시스템과 병렬로 도는 열역학 컴퓨터에 넘기는 구조임(그림 1). 다만 그림 3의 “Runtime vs Accuracy” 그래프는 필요한 컴퓨터가 아직 존재하지 않기 때문에 TNGD 알고리즘의 시간 모델을 쓴다는 점이 중요함
  • 멋지고 흥미로움. 저자들은 손실 지형의 곡률, 즉 2차 도함수를 반영하는 하이브리드 디지털-아날로그 학습 루프를 제안하고, 수치 시뮬레이션으로 이 방식이 물리 시스템으로 구현되면 학습 루프의 각 반복 계산 비용이 매개변수 수에 선형으로 늘어난다는 점을 보임
    열역학 법칙이 AI 모델 학습의 일을 대신하게 해서 기존 디지털 하드웨어와 학습 방법의 확장 한계와 난제를 넘을 수 있다면, 그런 방향을 찾는 데 찬성함
  • 논문은 주로 딥러닝/신경망 학습과 최적화 결과를 다루지만, 같은 최적화 프레임워크를 다른 종류의 어렵거나 큰 최적화 문제에 얼마나 쉽게 적용할 수 있을지 궁금함. Extropic(https://www.extropic.ai/) 관련 글을 처음 봤을 때도 같은 생각이 들었음
    신경망 외의 최적화 문제를 모델링할 수 있는지 보려고 웹사이트에서 API나 소프트웨어 스택 공개 정보를 찾아봤지만, 아직 공개되지 않은 듯함. 여전히 풀 가치가 큰 NP-난해 조합 최적화나 대규모 해석적 최적화 문제가 많고, 개인적으로는 EDA와 반도체 설계 문제가 관심사임. 단열 양자 컴퓨팅도 최적화 문제 해결을 약속했던 기술이었고, 양자 컴퓨팅은 아직 소규모 해법 위주로 진행 중임. 이런 새로운 “열역학 컴퓨팅” 스타트업들도 이런 문제를 탐색할 만한 멋진 기술을 제공해 주길 기대함
  • 열역학을 활용해 2차 갱신을 더 효율적으로 계산하는 건 분명 멋지고 탐구할 가치가 있지만, 딥러닝 맥락에서 실제 유용성은 여전히 회의적임
    이미 고전 하드웨어에서 매우 효율적으로 도는 2차 방법[1]이 있지만, 실무에서는 거의 쓰이지 않고 ADAM 같은 1차 방법에 밀림. 딥러닝 모델처럼 매우 비선형적인 손실 함수를 최적화하려면 1차든 2차든 결국 매우 낮은 학습률이 필요하기 때문임. 그래서 2차 방법은 한 단계당 조금 더 나은 매개변수 갱신을 줄 수는 있어도 비용이 그보다 더 크게 늘어나는 경우가 많아 대개 가치가 낮음
    [1] https://andrew.gibiansky.com/blog/machine-learning/hessian-f...
    • 멋진 건 동의하고, 2차 방법을 가치 있게 만들기 어렵다는 데도 동의함. 데이터셋이 너무 커서 미니배치의 그래디언트조차 그럴듯하게 추정하기 어려울 때가 있음
      데이터셋 전체에 대한 2차 정보를 유용하게 추정하는 건 더 어렵고, 애초에 미니배치를 쓰는 이유가 계산 가능성이라는 점을 생각하면 특히 그렇음
  • 논문을 자세히 읽지는 않았는데, 무엇이 매력인지 알려줄 수 있을까? 표 1을 보면 표본 크기 기준으로 SGD와 같은 점근 복잡도를 갖는 것처럼 보임
    오늘날의 크고 과잉 지정된 모델에는 서로 비슷한 극값이 많다는 점을 고려하면, 이게 정말 필요한지도 모르겠음. 준선형도 아니고 부분선형이 아니라면 굳이 관심을 가질 이유가 없어 보임
  • 약 10년 전 AI 수업에서 배운 모의 담금질이 떠오름
    https://en.wikipedia.org/wiki/Simulated_annealing
  • 동물 뉴런이 어떻게 학습하는지에 대한 현재 최선의 추정은 무엇일까?
  • Geoffrey Hinton이 1년쯤 전에 이런 얘기를 하지 않았나?
  • 이해가 안 됨. 그래디언트 하강 계산은 매우 자주 일어나고 상태/입력이 계속 바뀌는데, 그러면 열 지형을 아주 자주 초기화해야 할 텐데 무슨 의미가 있나? 여기서 속도 향상 가능성이 있을 리 없어 보임
    차라리 전자기장이나 그 간섭, 어쩌면 3D 구조로 뭔가를 할 수는 있을 듯함
  • “아날로그 열역학 컴퓨터가 필요하다”까지는 좋아 보이다가, 잠깐, 뭐라고? 물리학을 제대로 배운 사람이 설명해 줄 수 있으면 좋겠음
    • 논문 부록 C가 꽤 잘 설명함. 여러 연산 증폭기, RC 시정수(아마 디지털 전위차계 사용), PC와 연결되는 다채널 ADC/DAC 인터페이스로 적분기 행렬을 구성함. 본질적으로 전용 미분방정식 풀이 장치임
      그래서 구식 아날로그 계산과 현대 GPU 기반 코드의 조합임. 실제로는 하드웨어 인터페이스 오버헤드와 적분기가 안정될 때까지 기다리는 시간 때문에 더 오래 걸리지만, 최적화된 구현은 수렴을 가속해 순수 디지털 해법보다 나을 수 있다는 주장으로 이해함. 핵심 아이디어는 기존 그래디언트 하강이 본질적으로 선형 연산인 반면, 실제로 따라가는 그래디언트는 곡면이라 디지털 영역에서만 처리하면 불필요한 여러 단계를 거쳐 근사해야 한다는 것임. 문제는 Seymour Cray 이후 많은 이들이 어렵게 배웠듯이, 결국 CMOS가 항상 이긴다는 점임. 한 산업 전체의 자금력이 CMOS 최적화에 들어가기 때문임
    • 내가 이해하기로는 https://extropic.ai가 정확히 이걸 하고 있고, 논문 저자들의 회사인 https://normalcomputing.ai/도 그럴 가능성이 커 보임
    • 자연 법칙을 활용해 AI 모델을 학습시키고, 디지털 하드웨어와 기존 학습 방법의 한계와 확장 문제를 넘자는 게 핵심임
    • 한 예로 양자 담금질기가 있을 수 있음. 여기서 “프로그래밍”은 적절한 초기 조건을 설정하고, 열역학적 완화를 통해 최적점에 도달하게 하는 것에 가까움
    • 이런 제품을 만들 수 있다면 매력적일 수 있음. 전 세계적으로 해마다 수백억 달러, 어쩌면 그 이상이 수치 최적화에 쓰이고 있고, 이를 크게 가속할 수 있다면 매우 수익성이 클 수 있음
답변달기