Kolmogorov-Arnold 네트워크로 신경망 이해도 향상 가능성

 (quantamagazine.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 2024년 4월 공개된 Kolmogorov-Arnold network(KAN) 는 기존 MLP 기반 신경망보다 내부 동작을 더 읽기 쉬운 대안으로 제안됐고, 특정 문제군에서는 일반 신경망이 하는 거의 모든 작업을 수행할 수 있음
  • KAN은 간선에 숫자 가중치 대신 학습 가능한 비선형 함수를 배치해 출력을 맞추며, 이 구조는 1957년 Kolmogorov-Arnold 정리에 뿌리를 둠
  • MIT의 Ziming Liu와 Max Tegmark 연구팀은 2층 KAN의 한계를 겪은 뒤 3층 이상 구조를 시도했고, 3층 KAN이 2층으로는 정확히 표현할 수 없는 함수를 표현할 수 있음을 보임
  • 매듭 이론과 Anderson localization 문제에서 KAN은 답만 내지 않고 관련 수식이나 관계까지 보여줬으며, 물리처럼 변수가 적은 과학 문제에서 특히 유용할 가능성이 있음
  • 후속 연구에서는 해석 가능성 과제와 편미분방정식 풀이에서 강점이 확인됐지만, 컴퓨터 비전과 오디오 처리에서는 MLP가 더 나았고 KAN 2.0은 사용성을 높인 형태로 공개됨

MLP 블랙박스와 KAN의 등장

  • 현대 신경망의 대표적 기본 구성은 multilayer perceptron(MLP) 이며, 대규모 데이터셋으로 확장했을 때 강력한 성능을 냄
  • MLP 기반 네트워크는 성공에도 불구하고 사람이 결론 도출 과정을 이해하기 어렵고, 결과를 설명하는 근본 원리가 있는지도 파악하기 쉽지 않음
  • 2024년 4월 KAN 논문은 더 투명하면서도 특정 문제군에서 일반 신경망이 하는 거의 모든 일을 할 수 있는 Kolmogorov-Arnold network(KAN) 를 제안함
  • Johns Hopkins University의 Alan Yuille은 KAN이 해석 가능성이 더 높고, 데이터에서 과학적 규칙을 추출해야 하는 과학 응용에 특히 유용할 수 있다고 봄

KAN이 함수를 맞추는 방식

  • 일반적인 신경망은 인공 뉴런 또는 노드의 층을 간선으로 연결하고, 각 간선의 가중치를 학습 과정에서 조정해 출력이 정답에 가까워지도록 만듦
  • 신경망의 흔한 목표는 데이터 포인트를 가장 잘 잇는 수학적 함수나 곡선을 찾는 것임
    • 물리 과정을 모델링한다면 출력 함수가 물리를 설명하는 방정식, 즉 물리 법칙에 해당하는 형태가 되기를 기대함
  • MLP에는 가능한 최적 함수에 얼마나 가까워질 수 있는지 알려주는 수학 정리가 있으며, 그 결과 MLP는 해당 함수를 완벽히 표현할 수 없음
  • KAN은 간선에 단순 숫자 가중치를 두지 않고, 학습 가능한 비선형 함수를 둠
    • 이 간선 함수는 더 복잡한 곡선을 표현할 수 있음
    • MLP의 숫자 가중치보다 더 세밀하게 조정될 수 있음

1957년 정리와 35년간의 회의론

  • KAN의 핵심에는 1957년 Andrey Kolmogorov와 Vladimir Arnold가 각각 발표한 수학적 결과가 있음
    • 여러 변수를 갖는 하나의 수학 함수를 단일 변수 함수들의 조합으로 바꿀 수 있다는 내용임
  • 중요한 제약은 정리가 만들어내는 단일 변수 함수가 매끄럽지 않을 수 있다는 점임
    • V자 꼭짓점처럼 날카로운 부분을 가질 수 있음
    • 네트워크가 학습 중 목표값에 맞춰 휘어지려면 단순한 단일 변수 조각이 매끄러워야 함
  • 1989년 MIT의 Tomaso Poggio 등이 쓴 논문은 KAN의 핵심 수학 아이디어가 “학습을 위한 네트워크 맥락에서는 무관하다”고 명시함
  • Ziming Liu와 Max Tegmark는 단일 변수 함수가 매끄럽지 않더라도 네트워크가 매끄러운 함수로 이를 근사할 수 있고, 과학에서 접하는 대부분의 함수는 매끄럽다는 점에 주목함
  • 1989년 이후 소프트웨어와 하드웨어가 크게 발전했기 때문에, Liu는 과거에 주목받지 못한 아이디어를 다시 시도함

2층에서 다층 KAN으로 전환

  • Liu는 약 1주일 동안 가장 단순한 형태인 2층 KAN 프로토타입을 만들었지만, 목표로 삼은 과학 관련 작업에서 좋은 성능을 얻지 못함
  • 2층 KAN은 Kolmogorov-Arnold 정리가 다변수 함수를 내부 함수와 외부 함수 집합으로 나누는 구조와 자연스럽게 맞아 보였음
  • Tegmark는 2층보다 많은 층을 가진 KAN을 시도하자고 제안했고, 이 접근이 성과로 이어짐
  • 연구팀은 MIT, California Institute of Technology, Northeastern University의 동료들과 함께 수학자와 응용 분야 전문가가 포함된 협업을 구성함
  • 2024년 4월 논문에서 연구팀은 3층 KAN 이 가능함을 보였고, 2층 KAN으로는 정확히 표현할 수 없는 함수를 3층 KAN이 정확히 표현하는 사례를 제시함
  • 이후 최대 6층까지 실험했으며, 층이 늘어날수록 더 복잡한 출력 함수에 맞출 수 있음을 확인함

실제 문제에서 드러난 해석 가능성

  • 매듭 이론

    • 2021년 DeepMind 팀은 특정 매듭의 여러 속성을 입력받아 해당 매듭의 위상적 속성을 예측하는 MLP를 만들었음
    • 새 KAN은 그 성과를 재현했고, 예측된 속성이 다른 속성들과 어떻게 관련되는지도 보여줌
    • Liu는 이 부분을 MLP가 전혀 할 수 없는 일이라고 평가함

  • Anderson localization

    • 두 번째 문제는 응집물질물리의 Anderson localization 현상과 관련됨
    • 목표는 특정 상전이가 일어나는 경계를 예측하고, 그 과정을 설명하는 수학 공식을 찾는 것이었음
    • MLP는 이 작업을 해낸 적이 없고, 연구팀의 KAN은 이를 수행함
    • Tegmark는 KAN의 가장 큰 장점과 최근 개발의 주된 동기가 해석 가능성에 있다고 봄
    • 데이터가 주어졌을 때 티셔츠에 적을 수 있는 공식을 내놓는 것이 해석 가능성의 한 형태라고 표현함
    • Johns Hopkins의 Brice Ménard는 문제가 실제로 단순한 방정식으로 설명된다면 KAN이 이를 찾는 데 꽤 좋다고 평가함
    • 다만 KAN이 가장 잘 작동하는 영역은 물리처럼 방정식의 변수가 매우 적은 문제로 제한될 가능성이 있음

후속 연구와 KAN 2.0

  • Liu와 Tegmark의 KAN 논문은 약 3개월 만에 75회 인용됐고, 다른 연구 그룹들도 자체 KAN 연구를 시작함
  • Tsinghua University의 Yizheng Wang 등이 2024년 6월 온라인에 공개한 논문은 Kolmogorov-Arnold 기반 신경망(KINN)이 편미분방정식(PDE) 풀이에서 MLP를 크게 앞섰다고 밝힘
    • Wang은 PDE가 과학 전반에 존재한다고 말함
  • National University of Singapore 연구진의 2024년 7월 논문은 더 혼합된 결과를 냄
    • KAN은 해석 가능성 관련 과제에서 MLP보다 나았음
    • 컴퓨터 비전과 오디오 처리에서는 MLP가 더 좋은 결과를 냄
    • 자연어 처리와 다른 머신러닝 과제에서는 두 네트워크가 대체로 비슷했음
  • Liu는 이런 결과가 놀랍지 않다고 봄
    • 원래 KAN 연구의 초점은 해석 가능성이 최우선인 과학 관련 작업에 있었음
  • 2024년 8월 Liu와 협력자들은 KAN 2.0 논문을 공개함
    • Liu는 이를 전통적인 논문보다 사용자 매뉴얼에 가깝다고 표현함
    • KAN 2.0은 더 사용하기 쉽고, 원래 모델에 없던 곱셈 도구 등을 제공함

응용 중심에서 이해 중심으로

  • Liu와 공동저자들은 KAN이 단순한 목적 달성 수단을 넘어 호기심 중심 과학을 촉진한다고 봄
  • 머신러닝에서 오래 지배적이었던 접근은 응용 중심 과학임
    • 예를 들어 천체 운동을 관측할 때 응용 중심 연구자는 미래 상태 예측에 집중함
    • 호기심 중심 연구자는 그 운동 뒤의 물리를 밝히려 함
  • KAN을 통해 연구자는 어려운 계산 문제를 해결하는 도움을 얻는 데 그치지 않고, 이해 자체를 목표로 신경망을 활용할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • KAN의 주저자가 어제 MLCAD에서 튜토리얼 세션을 했는데, 하드웨어/반도체 설계와 기계학습/딥러닝의 교차점을 다루는 학회였음
    물리 시스템에 대한 통찰과 해석, 예를 들면 기호식, 보존량, 대칭성을 얻는다는 용도에는 정말 흥미롭고 잘 맞아 보였음
    과학과 수학에는 유용할 수 있지만, 공학에서는 이런 해석 가능성이 기계학습/딥러닝의 최우선 목표가 아닐 수도 있음
    더 어려운 과제를 학습하는 능력이나 학습 용량은 아직 불확실하고, KAN “활성화”에 쓰는 기저 함수 선택이나 이 층을 어떤 구조에 붙여야 이득이 나는지도 아직 많이 탐색되지 않았음
    사람들이 KAN을 더 실험해 보면 이런 질문에 답이 더 나올 것 같음

  • 불가능하다고 봄
    내부 연산 하나가 이해 가능하다고 해서 전체 신경망이 이해 가능해지는 것은 아님
    훨씬 단순한 결정 트리만 봐도, 교과서에서는 한 번에 한 특성으로 판단하고 잎에서 출력을 내는 이해 가능한 시스템으로 소개함
    90년대처럼 컴퓨터가 느리고 트리가 작을 때는 맞는 말이었지만, 지금은 거대한 결정 트리와 랜덤 포레스트가 수백만 노드짜리 트리를 만들 수 있고, 그런 것은 해석 가능하지 않음
    복잡계 이해에는 기본적인 수학적 간극이 있고, 또 다른 신경망 유형 하나로 해결되지 않음

    • “Newton이 이걸 써서 자신이 분석하던 힘의 식, 예를 들어 중력 = g m_1 m_2 / d^2 같은 걸 찾을 수 있었을까?”라고 생각함
      예전에 물리학 교수에게 원리적으로 가능한지 물었더니 가능하다고 했음
      KAN은 실험 데이터가 주어졌을 때 이런 식을 찾아낼 수 있을 것 같고, 그게 사실이라면 해석 가능성이라고 불릴 만하다고 봄
    • 복잡계에 대해 추론하게 해 주는 공식이나 방정식이 애초에 존재하지 않을 수도 있음
      복잡성을 추론하려면 실제로 그 복잡성을 그대로 수행해야 할 가능성도 큼
    • 대체로 동의하고, 충분히 복잡한 비선형 모델에서는 해석 가능성 추구가 헛수고라고 봄
      그래도 비선형 동역학이나 패턴 형성 분야에서 언젠가 성공적인 돌파구가 나오지 않는다면 오히려 놀랄 것 같음
    • 아주 복잡한 결정 트리도 어느 정도는 해석 가능함
      트리를 따라가며 “이 조건이 참이 아니었다면 결과가 달라졌을까?” 같은 질문에 답할 수 있기 때문임
      전체 트리를 한 번에 머릿속에 담기는 어렵겠지만, 실제로 지나간 경로를 이해하려고 필요할 때 조사하는 것은 가능함
    • 많은 사람들이 트리 앙상블을 블랙박스라고 부름
      나는 회색 상자나 짙은 회색 상자에 가깝다고 봄
      원하면 해석할 수는 있지만, 실제로 누가 500개 트리를 전부 훑고 싶겠나

  • KAN 논문에서 제공하는 반자동 단순화 알고리즘은 https://arxiv.org/pdf/2112.04035와 비슷한 문제를 푸는 것처럼 보임
    다만 일반화된 추상 압축기가 아니라, 순전파 함수 해석 가능성을 목표로 한다는 추가 제약이 붙어 있음

  • 그렇지는 않음
    사소한 함수 맞춤 문제에서는 KAN이 각 기저 함수가 다음 층에 기여하는 정도를 시각화할 수 있게 해 줌
    하지만 이런 얕고 사소한 신경망은 애초에 들여다볼 필요가 거의 없음
    깊은 신경망은 이 접근으로 설명 가능해지지 않음

    • 맞음
      수백만~수십억 개 매개변수를 가진 것이 우리가 원하는 방식으로 “설명 가능”해질 수 있을지 모르겠음
      수십억 개 항을 가진 일반적인 다변수 함수를 아주 큰 화이트보드에 써 놓았다고 상상해 보면, 왜 그런 숫자를 내는지 정말 이해할 수 있을까?
      KAN은 매개변수가 한 자릿수 정도 적을 수는 있어도, 기본 문제는 여전히 같음

  • 이 주제와 직접 관련이 없을 수도 있지만 궁금한 게 있음
    신경망의 힘 중 하나는 GPU가 제공하는 거대한 병렬성을 활용하는 데 있는데, 스칼라 가중치만 쓰면서 계산 자원을 남겨두고 있는 건 아닐까?
    가중치 행렬 대신 함수 행렬을 쓰면 어떨까?

    • 신경망은 이미 함수들로 이루어져 있다고 보는 게 맞음
      층으로 쌓인 노드들의 묶음이 복잡한 비선형 함수가 됨
      예를 들어 작은 3층 신경망도 3차 스플라인 함수를 모델링하도록 학습할 수 있음
      함수의 내부는 모든 단계, 모든 덧셈과 곱셈에서 학습됨
      신경망 안의 함수 수는 가중치 수의 일부라고 봐도 되며, 그래서 더 복잡한 함수를 직접 모델링하는 것보다 이론적으로 더 유연하고 강력함
      올바른 함수를 안다면 특정 함수로 작은 고정 함수 MLP를 모델링해 학습 효율을 높일 수도 있겠지만, 조심하지 않으면 성능을 잃을 수도 있음
      주요 문제는 어떤 함수를 써야 할지 모른다는 점이고, 비선형 함수를 추가하면 성능·정밀도·초기화·정규화 측면에서 새로운 어려움이 생길 수 있음
      선형 수학은 쉽고 강력하며 이미 복잡한 함수를 모델링할 수 있지만, 비선형 수학도 유용할 수 있으니 더 연구가 필요해 보임
    • GPU는 부동소수점 값 행렬에 최적화되어 있어서, 현재 신경망은 스칼라 가중치를 담은 행렬을 기반으로 씀
    • 그 설명은 깊은 가우스 과정과 매우 비슷함
    • 가중치의 각 행이나 열에 비선형성을 붙인 것이 곧 학습 가능한 함수임

  • 최근에 https://news.ycombinator.com/item?id=40219205에서도 논의됐음

  • 과학 응용에서 해석 가능성의 핵심은 기호 회귀에 있음
    MLP는 어떤 데이터셋에 대해 항상 방정식을 뱉어낼 수는 없지만, KAN은 가능함

  • 신경망에서 정확히 무엇이 “미지”인지 설명해 줄 수 있나?
    우리가 만들었고, 무엇으로 구성되어 있으며 어떻게 동작하는지도 알고 있음
    이 “다층 퍼셉트론”의 노드 사이 모든 연결을 일일이 대응시킬 수는 없지만, 그런 연결이 어떻게 형성되는지는 알고 있지 않나?

    • GPT-4o 같은 최신 LLM은 b64 인코딩 텍스트를 기본적으로 이해할 수 있음
      우리에게도 b64 텍스트를 디코딩하고 인코딩하는 알고리즘이 있지만, GPT-4o가 그 알고리즘을 그대로 수행하는 걸까?
      학습이 그 알고리즘을 배운 걸까? 명백히 아니거나 적어도 완전히는 아님
      우리 알고리즘이라면 원문 의미 추출이 불가능해질 b64 오타도 4o에는 거의 문제가 되지 않기 때문임
      그렇다면 어떻게 b64를 디코딩하는가? 모름
      우리는 신경망을 정말로 “만드는” 게 아니라, 구조를 만들고 학습시킴
      학습 데이터 제공을 제외하면 무엇을 배우는지는 인간의 직접 통제 밖에 있음
      사소한 장난감 예제를 제외하면 무엇을 배웠는지는 대부분 알려져 있지 않음
      연결이 형성된다는 것도 알고, 가중치도 볼 수 있고, 행렬 곱셈도 볼 수 있음
      하지만 그 계산들이 무엇을 하는지, 무엇을 의미하는지는 모름
      외계인이 C 코드가 실행되는 모습을 볼 수 있다고 해서 그 코드를 이해한다고 할 수 있을까?
    • 각 연결이 무엇을 의미하는지, 각 가중치에 어떤 정보가 인코딩되어 있는지 모름
      수백만~수조 개 가중치 각각을 바꾸면 동작이 어떻게 달라질지도 모름
      사전과 비교하면, 사전은 각 페이지와 각 줄에 어떤 정보가 있는지 분명함
    • 세부를 조금 생략하면, 모델은 입력에 많은 고차원 함수를 적용하고, 왜 그 함수들이 문제를 푸는지에 대한 이유를 우리는 모름
      가중치의 차원을 사람이 읽을 수 있는 값으로 줄이는 일은 사소하지 않고, 여러 뉴런이 예측하기 어려운 방식으로 상호작용함
      해석 가능성 연구는 유용한 결과와 보기 좋은 시각화[1][2]를 많이 냈고, Transformer를 이해하려는 노력[3][4]도 많지만, 현재 쓰이는 대형 모델을 완전히 설명하기에는 아직 멀었음
      [1] - https://distill.pub/2018/building-blocks/
      [2] - https://distill.pub/2019/activation-atlas/
      [3] - https://transformer-circuits.pub/
      [4] - https://arxiv.org/pdf/2407.02646
    • LLM이 뇌는 아니지만, 뇌는 유용한 비유가 됨
      우리 뉴런을 전부 들여다본다고 해서 우리가 어떻게 생각하는지 완전히 이해할 수 없는 것처럼, LLM도 개별 구성요소 분석만으로는 이해할 수 없음
      LLM 해독은 아마 뇌보다 쉽겠지만, 쉽다는 뜻은 아님
    • 연결이 어떻게 형성되는지, 그리고 어떻게 형성하게 하는지는 알고 있음
      다만 왜 그런 특정 방식의 형성이 당면한 문제를 푸는지는 모름
      이제는 이 표현조차 엄밀히 맞지는 않음
      블랙박스 안에서 무슨 일이 일어나는지에 대한 연구가 많이 진행되고 있기 때문임
      문제는 한 번도 완전한 블랙박스였던 적이 없다는 데 있음. 언제든 내부를 볼 수는 있지만 이해하기가 어려웠음
      KAN은 그 일부를 수학적 공식화로 옮기는 데 도움을 주고, 데이터에 대한 활성화 지도를 만드는 것도 비슷하게 통찰을 줌
답변달기