딥러닝은 응용 위상수학임

• 딥러닝은 데이터를 고차원 공간의 매니폴드 위에 놓고, 신경망 층의 변환으로 그 표면을 휘거나 늘려 분리 가능한 구조를 찾는 과정으로 볼 수 있음
• tanh(Wx+b) 같은 층은 행렬 변환, 벡터 이동, 비선형 함수를 이어 붙인 연속 변환이며, 여러 층을 쌓으면 복잡한 데이터셋도 다른 형태로 바뀔 수 있음
• 낮은 차원에서 선 하나로 나눌 수 없는 원형 데이터도 더 높은 차원으로 올리면 분리 가능해지고, 신경망은 이런 표현 공간을 학습할 수 있음
• 임베딩 벡터는 텍스트·이미지·개념을 숫자 공간의 점으로 표현하며, 잘 형성된 표면에서는 king - man + woman = queen 같은 개념 연산이 가능해짐
• 현재의 추론 모델 학습은 좋은 reasoning trace를 고르는 방식으로 추론 매니폴드를 이동하는 과정으로 해석되며, DeepSeek R1식 강화학습은 사람이 직접 고르는 비용을 줄이는 방법으로 다뤄짐

---

위상수학으로 보는 신경망

• 위상수학은 표면을 찢거나 구멍 내지 않는 한, 휘기·비틀기·늘리기 같은 변형에도 유지되는 성질을 다루는 수학임
• 찰흙 표면에 그린 원은 회전하거나 휘어져도 갑자기 선이 되거나, 두 개의 원이 되거나, 자기 자신과 교차하지 않음
• 데이터 분류 문제도 비슷하게 볼 수 있음
  • 2D 평면의 데이터가 선 하나로 깔끔하게 나뉘지 않아도, 표면을 적절히 변형하면 분리 가능한 구조가 나타날 수 있음
  • 이런 공간 조작이 딥러닝의 핵심에 있다는 관점임

신경망 층은 표면을 변형하는 연속 변환

• 신경망을 선형대수의 스택으로 보는 설명은 대체로 맞으며, 행렬은 기하학적 표면을 변환하는 연산으로 해석할 수 있음
• Chris Olah의 2014년 글도 딥러닝 매니폴드를 이런 방식으로 다룸
• tanh(Wx+b) 층은 세 단계로 구성됨
  • W에 의한 선형 변환
  • b 벡터에 의한 이동
  • tanh의 점별 적용으로 생기는 비선형 왜곡
• 이런 변환을 여러 층으로 쌓으면 복잡한 데이터셋도 분리 가능한 형태로 바뀔 수 있음
• 다만 원 안의 점들과 그 바깥을 둘러싼 점들처럼, 위상적으로 선 하나로 분리하기 어려운 경우도 있음
  • 이때는 2차원에서 3차원으로 올리면 데이터가 깔끔하게 분리될 수 있음
  • 낮은 차원에서 불가능한 분리가 높은 차원에서는 쉬워질 수 있음

임베딩과 의미적 매니폴드

• 큰 신경망은 위상 생성기(topology generator) 처럼 볼 수 있음
  • 입력 데이터를 받아 손실 함수가 요구하는 성질을 만족하는 표면을 찾음
  • 분류 태스크에서는 개와 고양이가 공간의 서로 다른 영역에 놓이도록 학습함
  • 번역 태스크에서는 bread와 pan, 고양이 사진과 cat 같은 항목이 가까운 위치에 놓이도록 학습함
  • 다음 토큰 예측에서는 토큰이 사용 방식에 따라 묶이는 표면을 학습함
• 데이터는 고차원적이고 의미적으로 관련 있는 매니폴드 위에 있으며, 매니폴드를 만드는 일은 데이터셋을 의미적으로 표현하는 일과 맞닿아 있음
• 색상 예시는 이런 구조가 데이터 자체에 내재할 수 있음을 보여줌
  • [128, 0, 0]은 빨강, [0, 0, 128]은 파랑을 나타냄
  • 두 벡터를 더하면 보라색을 만들 수 있음
  • 색상의 차원성, 색상 간 유사성, 색을 섞는 방식은 데이터에 내재한 구조로 볼 수 있음
• 이미지도 매니폴드 위의 점으로 다룰 수 있음
  • 이미지는 Height x Width x 3 크기의 RGB 픽셀 값으로 표현됨
  • 이를 하나의 벡터로 펼치면 특정 크기의 모든 이미지를 고차원 공간의 점으로 볼 수 있음
  • Brad Pitt가 샌드위치를 먹는 이미지 영역과 Mona Lisa 이미지는 같은 이미지 공간 안의 다른 점이 될 수 있음
• 대부분의 이미지 공간은 노이즈이며, 픽셀 유사성만으로 묶는 것은 유용하지 않음
  • 딥러닝 모델은 이미지 표면을 휘고 늘려 관심 있는 이미지들은 가깝게, 노이즈는 멀리 놓을 수 있음
• 모델 내부에서는 텍스트·이미지 같은 정보를 임베딩 벡터라는 숫자 리스트로 표현함
  • 각 임베딩은 개념에 연결되는 동시에 공간상의 점임
  • 잘 형성된 표면에서는 king - man + woman = queen 같은 수학적 개념 연산이 가능함

추론 학습을 매니폴드 이동으로 보기

• 모든 것이 매니폴드 위에 놓인다는 관점에서는 추론도 하나의 매니폴드로 생각할 수 있음
  • 좋은 추론은 공간의 한쪽에, 나쁜 추론은 다른 쪽에 군집한다고 상상할 수 있음
  • 좋음과 나쁨을 엄밀한 수학 용어로 정의하지 못해도, 둘을 구분할 수 있으면 신경망을 훈련할 수 있음
• Google, Anthropic, OAI, DeepSeek 같은 주요 AI 기업들도 이런 방향으로 움직이는 것으로 해석됨
• AI 업계에는 순수 언어 통계만으로 얻을 수 있는 것은 대체로 다 뽑아냈다는 합의가 있다고 봄
  • 대부분의 LLM은 수조 개 토큰으로 학습됨
  • 수천조 개 토큰으로 늘려도 추가 이득은 크지 않을 수 있음
  • 다음 토큰 예측은 추론과 비슷하지만, 그 자체로 추론에 도달하기보다는 다음 토큰 예측을 잘하게 만듦
• instruction tuning과 RLHF는 다음 토큰 예측 영역에서 질의응답 추론 영역으로 이동하는 방법으로 해석됨
• Chain of Thought는 추론 매니폴드의 추론 영역으로 더 명시적으로 이동하는 방식임
  • o3나 Gemini 2.5 같은 모델에서 Thinking…으로 보이는 사고 과정은 reasoning trace로 불림
  • 많은 쿼리를 실행하면 좋은 reasoning trace와 나쁜 reasoning trace를 구분할 수 있음
  • 예를 들어 100만 개 쿼리에서 1만 개의 아주 좋은 trace를 얻으면, 이를 이용해 더 좋은 trace만 생성하는 새 모델을 학습할 수 있음
• 이 과정을 반복하면 이전 모델로 다음 모델을 부트스트랩할 수 있음
  • 두 reasoning trace 중 어느 쪽이 더 나은지 판단할 방법이 있으면 추론 매니폴드 위를 계속 이동할 수 있음
  • 1만 개의 좋은 샘플을 가상의 더 발전된 모델에서 나온 것처럼 보고 현재 모델을 distill-train하는 방식으로도 볼 수 있음
• 이 접근이 AGI에 도달하기에 충분했다는 표현이 나오지만, 이미 AGI가 있다는 말에는 논쟁적이라는 각주가 붙음
• ASI에는 충분하지 않다고 봄
  • 가장 좋은 추론을 골라내는 능력이 한계가 됨
  • 좋은 reasoning trace를 모으는 일은 돈과 시간이 많이 듦
  • 많은 똑똑한 사람이 하루 종일 고르더라도 결과가 주관적이고 노이즈가 많을 수 있음

DeepSeek R1, 강화학습, 그리고 모델을 생성하는 모델

• DeepSeek R1과 다른 강화학습 방법은 좋은 추론을 사람이 직접 고르지 않는 방향으로 등장함
• DeepSeek 접근은 좋은 추론에 대한 정량적 휴리스틱을 만드는 데 초점을 둠
  • AI가 통과해야 할 유닛 테스트나 수학 문제를 만들 수 있음
  • 코드가 테스트를 통과하거나 수학 문제를 맞히면, 그 출력을 만든 reasoning trace가 틀린 출력을 만든 trace보다 낫다고 볼 수 있음
  • reasoning trace 자체에 대한 주관적 분석이 필요하지 않음
• RL만으로 reasoning task 묶음에서 꽤 잘하는 모델을 학습하는 데 성공했다고 봄
• 다만 RL 접근만으로 ASI에는 도달하지 못함
  • RL 모델도 결국 점근적 한계에 부딪힘
  • 이후에는 RL 모델이 생성한 reasoning trace를 큐레이션해 완전히 다른 두 번째 모델을 미세조정함
  • 결과적으로 DeepSeek은 RL 자체보다, 사람이 직접 만드는 것보다 저렴하게 고품질 reasoning trace를 많이 생성하는 방법에 가까움
• 나쁜 추론과 좋은 추론을 구분하는 시스템을 만드는 일이 처음부터 잘 추론하는 시스템을 만드는 일보다 쉽다는 관점임
• 신경망 자체도 매니폴드로 표현할 수 있음
  • 신경망은 특정 방식으로 배열된 가중치 숫자 리스트임
  • 모든 파라미터를 펼쳐 벡터로 만들면 표면 위의 점으로 매핑할 수 있음
  • 어떤 영역은 semantic segmentation, 다른 영역은 text translation, 또 다른 영역은 autoencoding에 대응할 수 있음
  • 최종 출력 가중치는 텐서로 쉽게 표현되므로 출력에 대해 직접 backprop을 적용할 수 있음
• 이미지 생성의 diffusion 방식은 모델 생성에도 적용 가능하다고 제안됨
  • diffusion은 이미지에 노이즈를 단계적으로 더한 뒤, 그 노이즈 추가를 거꾸로 되돌리도록 모델을 학습함
  • Hugging Face의 여러 pretrained transformer layer 체크포인트에 노이즈를 더해 diffusion 학습 세트를 만들 수 있음
  • pretrained 모델 설명을 텍스트 조건으로 넣으면, 텍스트 설명에서 다른 pretrained 모델을 diffusion으로 생성하는 모델을 상상할 수 있음
  • "Spanish to English" 같은 프롬프트를 넣으면 별도 학습 없이 완전히 학습된 모델을 내놓는 식의 가능성이 제시됨
• 현재 대부분의 모델은 무작위 초기화로 시작하지만, 다른 모델을 생성하는 diffusion 모델은 무작위 초기화보다 나을 수 있고 학습 시간을 크게 줄일 수 있음
• 딥러닝은 모델이 무엇을 하고 왜 작동하는지에 대한 좋은 작동 이론이 부족해 비형식적인 분야로 남아 있으며, 임베딩 공간을 위상적으로 이해하면 여러 개념이 연결됨

[GN⁺]

Hacker News 의견들

• 이 글이 내 2014년 블로그 글(https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/)에 기반한 것이라 한마디 남겨봄
  신경망을 이해하는 방법으로 위상수학을 정말 열심히 써보려 했고, 후속 글도 썼음: https://colah.github.io/posts/2014-10-Visualizing-MNIST/, https://colah.github.io/posts/2015-01-Visualizing-Representa...
  위상적 관점이 유용했던 지점은 있었지만, 신경망 내부에서 무슨 일이 일어나는지 10년 넘게 붙잡고 보니 큰 성과는 별로 못 얻었음
  훨씬 더 성과가 있었던 쪽은 “개념/특징이 신경망의 방향에 대응한다”는 선형 표현 가설과, 그런 연결된 개념들의 네트워크인 회로 개념이었음
  관련 글로는 https://distill.pub/2020/circuits/zoom-in/, https://transformer-circuits.pub/2022/mech-interp-essay/inde..., https://transformer-circuits.pub/2025/attribution-graphs/bio...가 있음
  • 신경망을 이해하는 방식과 관련해 자주 보이는 오해가 있음: LLM은 사실상 조금 나아진 n-gram 모델일 뿐이라는 생각, 그리고 다음 토큰 예측만 한다는 이유로 모델이 멍청해야 한다는 생각임
    Karpathy의 RNN 글[2]에 대한 유명한 반응[1]이 언어 신경망을 n-gram 모델과 동일시하게 만든 데 일부 책임이 있는지 궁금함
    Stochastic Parrots 논문[3]도 “주로 n-gram 모델을 염두에 뒀지만 결론은 여전히 적절하고 관련 있다”는 식으로 LLM과 n-gram 모델을 어느 정도 동일시함
    신경망이 정말 좋아지기 전에는 둘이 더 비슷했던 시절이 있었던 것 같음
    [1] https://nbviewer.org/gist/yoavg/d76121dfde2618422139
    [2] https://karpathy.github.io/2015/05/21/rnn-effectiveness/
    [3] https://dl.acm.org/doi/pdf/10.1145/3442188.3445922
  • 몇 년째 circuits 흐름을 따라보고 있고, 선형 표현 가설은 매우 설득력 있어 보임
    Toy Models of Superposition 리뷰 초안도 메모에 남겨둔 상태임
    다만 circuits는 분석이 특히 Transformer 구조에 너무 묶여 있는 느낌이라 덜 설득력 있게 느껴짐
    선형 표현 가설은 구조에 따라 달라지는 것 아닌가 싶음. GAN, VAE, CLIP 등은 다양체를 명시적으로 모델링하는 것처럼 보임
    단순한 모델도 최적화 압력 때문에 충분히 비슷한 특징을 같은 선형 방향으로 접어 넣을 것임
    단순 모델이 비슷한 특징을 직교 방향에 놓는다는 경험적 증거와 다양체 가설을 맞추기 어렵긴 하지만, 그건 결국 최적화하는 손실 함수와 더 관련 있어 보임
    Toy Models of Superposition에서는 MSE를 써서 모델이 사실상 자동인코더 회귀/압축 과제를 학습하게 만들고, 그래서 함께 나타나는 특징 사이의 간섭 패턴이 중요해지는 게 자연스러움
    반대로 대조 손실 같은 다른 목적에서는 같은 간섭 최소화 행동이 나타나지 않을 것 같음
  • 2011년에 위상수학을 처음 공부한 뒤 현실 문제에 위상수학을 “적용”하려고 여러 번 시도했는데, 내 경험도 비슷했음
    이제는 “현실 데이터는 매끄럽고 낮은 차원의 다양체에 가깝다”는 흔한 표현에도 주저하게 됨
    이 명제가 실제 데이터에 어느 정도 맞는지, 또 자연 데이터셋을 효율적으로 다루기 위해 쓰는 차원 축소 방법 때문에 얼마나 왜곡되는지 제대로 조사해보고 싶지만, 시간이 부족함
  • 물리학에서는 서로 다른 전역 대칭성이나 위상 다양체가 같은 계량 구조, 즉 국소 기하를 만족할 수 있다는 점이 흥미로움
    예를 들어 Einstein 장 방정식의 같은 계량 텐서 해가 위상적으로 다른 다양체 위에 존재할 수 있음
    반대로 Ising Model의 해를 보면 같은 격자 위상이 여러 다른 해를 가질 수 있고, 계가 임계점 근처에 있으면 격자 위상 자체가 중요하지 않기도 함
    어디까지나 비유지만, 동역학의 흥미로운 세부사항이 시스템의 위상에 박혀 있는 것은 아니라는 점을 시사함. 더 복잡한 문제임
  • 예전 글에 대한 작은 HN 토론들이 몇 개 있었음
    Neural Networks, Manifolds, and Topology (2014) - https://news.ycombinator.com/item?id=19132702 - 2019년 2월, 댓글 25개
    Neural Networks, Manifolds, and Topology (2014) - https://news.ycombinator.com/item?id=9814114 - 2015년 7월, 댓글 7개
    Neural Networks, Manifolds, and Topology - https://news.ycombinator.com/item?id=7557964 - 2014년 4월, 댓글 29개
• 정말 위상수학이라면 유사도 검색을 하려고 다양체를 휘게 만들 필요가 없었을 것임. 이건 계량이 있는 기하학에 가까움
  현실에서도 그렇듯, 우리는 사물들을 비교할 수 있어야 함
  학습 중에도 다양체의 위상적 변환이 일어나므로, 학습 중 위상이 어떻게 진화하는지 궁금함
  처음에는 격렬하게 변하다가 안정화되고, 그 뒤 기하학적 세부 조정이 이어질 것 같음
  관련 논문으로는 Topology and geometry of data manifold in deep learning(https://arxiv.org/abs/2204.08624), Topology of Deep Neural Networks(https://jmlr.org/papers/v21/20-345.html), Persistent Topological Features in Large Language Models(https://arxiv.org/abs/2410.11042), Deep learning as Ricci flow(https://www.nature.com/articles/s41598-024-74045-9)가 있음
  • GAN이나 VAE를 만져봤다면 이 질문에는 실제로 답할 수 있음. 답은 대체로 “그렇다”에 가까움
    학습 중 여러 체크포인트의 GAN을 보고, 고차원 공간의 서로 다른 점들이 어떻게 움직이는지 UMAP이나 t-SNE 같은 도구로 확인할 수 있음
    초반의 격렬한 변화 뒤 안정화되고 기하학적 세부 조정이 일어난다는 것도 맞지만, 초반 변화는 학습률과 최적화기 선택의 영향도 받음
  • 굳이 말하면 응용 선형대수에 가깝다고 봄. 다만 그렇게 부르면 덜 이국적으로 들릴 뿐임
• 글 자체는 좋았지만, 두 점 집합 사이를 나누는 분리 표면을 찾는 아이디어를 왜 “위상수학”이라고 부르는지는 모르겠음
  “영어-스페인어 번역이나 이미지-텍스트 변환을 학습하면, bread가 pan에 가깝고 고양이 사진이 cat이라는 단어에 가까운 위상을 학습한다”는 식의 문장이 나오는데, 이는 위상수학이 다루지 않는 것에 가까움
  점들이 “가깝다”거나 “멀다”는 개념은 위상수학이 아니라 계량의 영역임
  어떤 위상공간에서 두 점이 가깝다면, 공간을 늘려 같은 위상공간을 유지하면서도 두 점을 멀게 만들 수 있음
  커피잔과 도넛이 같다는 농담의 핵심이 바로 그 부분임
  전체적으로는 점들이 가까이 놓인 대수다양체 같은 것을 찾는, 대수기하학의 현실 적용에 더 가까워 보임. 결국 기하와 점 사이의 거리 문제로 보임
  • “이건 위상수학이 다루는 것이 아니다”라는 말은 100% 맞음
    다만 글이 위상수학과 딥러닝 두 가지를 다루는 만큼, 뚜렷한 혼동이 둘 중 하나, 즉 위상수학에만 머물러 있기를 바랄 뿐임
  • 그 문장에서는 “topology”를 좀 더 구어적으로 썼음. “surface”라고 했어야 맞았음
  • 느슨하게 정의하자면 위상수학은 실제로 어떤 가까움과 멂의 개념이 있는 공간을 연구하는 학문이라고 볼 수 있음. 계량이 없더라도 마찬가지임
    점집합 위상수학의 근방이라는 핵심 개념은 어떤 점 근처에 있다는 생각을 포착하고, 연속성이나 수열의 수렴처럼 가까움의 개념이 필요한 것들을 정의하게 해줌
    Wikipedia [0]도 열린집합 개념을 통해 “근처”, “임의로 작음”, “멀리 떨어짐”을 정밀하게 만들 수 있다고 설명함
    열린집합의 정의를 바꾸면 연속함수, 콤팩트 집합, 연결 집합도 바뀌며, 열린집합 정의의 각 선택을 위상이라고 부름
    계량공간은 점 쌍 사이에 실수의 음이 아닌 거리, 즉 계량을 정의할 수 있는 중요한 위상공간 부류임
    위상수학이 신경망을 이해하는 최선의 렌즈라는 뜻은 아니고, 글쓴이도 댓글에서 생각이 바뀌었다고 했음. 여기서는 오해를 바로잡고 싶었음
    [0] https://en.wikipedia.org/wiki/General_topology
• 제목은 지금 그대로라면 진부하고 틀렸고, 글 자체는 읽기 좋았음
  위상수학은 기하에서 거리, 각도, 방향, 찢지 않는 모든 종류의 늘이기를 제거한 뒤 남는 아주 작은 구조임
  그런 격한 변형 뒤에도 유효하게 남는 최소한의 것임
  머신러닝에서 위상 개념이 유용한 것은 맞지만, 스케일·거리·각도 같은 것들은 보통 데이터에 대해 필수 정보를 많이 제공함
  얼룩고양이와 호랑이를 구분하려는데 크기를 무시한다면 어리석은 일임
  위상수학은 길이, 거리, 각도, 임의 변형을 신뢰할 수 없을 때 특히 유용함
  그런 경우는 있지만, 딥러닝이 응용 위상수학이라고 주장하는 것은 터무니없고 거의 바보 같은 말임
  • 입력 데이터는 신뢰할 수 없는 다양체 위에 있음. 픽셀 공간에서 Coca-Cola 캔 이미지와 정지 표지판 이미지가 가깝다는 사실은 사전적으로 아무 의미가 없음
    신경망은 바로 그런 격한 변환을 모두 적용함
  • 세부로 들어가면 순수 위상수학이었다면 중요하지 않았을 것들이 많이 중요해짐. 층 수부터 양자화/fp 해상도까지 영향을 줌
  • “topology”라는 단어에는 지금 요구하는 조건들이 전혀 없는 합법적인 사전적 정의도 있음. 두 가지 정의가 있다는 점을 놓친 것 같음
• 공유해줘서 고맙고, 나도 학습을 다양체 관점에서 보는 편임. 강력한 표현 방식임
  “충분히 높은 차원의 공간에서는 이것이 추론과 구별되지 않는다”는 부분에 대해 꽤 많이 일기를 쓰고 HN에도 “확률적 추론 다양체”라는 이름으로 글을 쓴 적이 있음
  이 다양체는 주어진 입력 집합에서 탈맥락화된 패턴 공간을 학습해 구성됨
  샘플링의 본질적 확률성 때문에 진짜 추론은 공리가 아니라 확률로 표현됨
  다양체 위의 고정점이나 끌개를 찾아 공리를 발견할 수는 있겠지만, 궁극적으로는 입력 집합으로부터 구성된 확률적 다양체를 보고 있는 것임
  다만 이 “추론”을 입력 데이터와 분리할 수는 없다고 봄
  충분히 고도화된 추론 다양체라면 어디서나 발견되는 “메타 추론” 같은 구조를 찾을 수는 있겠지만, 이런 고도로 탈맥락화된 구조는 적절히 재맥락화하지 않으면 완전히 쓸모없을 수 있음
  결국 어떤 종류의 입력을 처리하는 데 유용한 다양체가 되려면, 그 입력의 패턴이 학습 가능한 underlying rule을 따라야 함
  탈맥락화가 학습, 즉 입력의 측면들을 맥락 독립적 관계로 분해하는 것이라면, 재맥락화는 그 반쪽으로서 매우 추상적이고 때로 표현 불가능한 맥락 독립적 관계를 새로운 영역에서 유용한 분석으로 바꾸는 능력임
  전체 댓글: https://news.ycombinator.com/item?id=42871894
  • 일반적인 추론, 즉 명제의 표현 위에서 작동하는 정신 과정으로서의 추론을 말하는 건지 궁금함
    그렇다면 “진짜 추론은 공리가 아니라 확률로 표현된다”는 말을 이해하기 어려움
    추론의 특징 중 하나는 그런 식으로 작동하지 않는다는 점임
    동물이 자신이 표현한 명제 위에서 비확률적으로 작동하는 능력을 전혀 갖지 못했을 가능성은 매우 낮음. 이는 올바른 추론에 필수이고, 제공하기도 비교적 사소한 능력임
    예를 들어 “거미가 boxA 안에 있다면 다른 모든 곳에는 없다” 같은 식임
• 데이터는 실제로 다양체 위에 있지 않음. 데이터를 생각하기 위한 근사일 뿐임
  딥러닝에서 유용했던 것들의 거의 전부, 어쩌면 100%는 위상수학을 전혀 생각하지 않고 나왔음
  딥러닝은 어떤 것의 응용이라기보다, 대부분 시행착오와 실험으로 발전한 경험적 분야임
  이론에서 온 직관이 조금 있긴 했지만, 그 이론은 위상수학이 아니었음
  • 전적으로 동의하지 않음. 시행착오가 많은 건 맞지만, 딥러닝은 위상수학, 기하학, 게임 이론, 미적분, 통계학 등을 포함한 여러 수학 분야의 이론이 뒤섞인 것에 더 가까움
    가장 기본인 역전파도 가중치에 연쇄법칙을 적용한 것일 뿐임
    차이는 딥러닝이 너무 접근 가능하고, 정확히는 수익성 있는 분야가 되면서 많은 실무자가 형식주의의 기원을 배우지 않고도 주제를 배울 수 있게 됐다는 데 있음
    결국 다른 분야에 오래전부터 있던 이론과 기법을 그 기원을 모른 채 활용하거나 “재발명”하게 됨
  • 이론에서 온 “직관”은 사후적인 것 같음. 딥러닝이 어떤 방법을 만들어낸 뒤에야 다른 과학 분야 연구자들이 딥러닝 접근과 자신들의 오래된 방법 사이의 유사성을 알아차리는 식임
    예로, GPT가 사실 자신이 물리학에서 이미 풀었던 계산 문제와 같다는 점을 발견한 글이 있음: https://ondrejcertik.com/blog/2023/03/fastgpt-faster-than-py...
  • 딥러닝을 10년 넘게 해온 입장에서 보면, 이 말은 꽤 틀렸음. 데이터가 다양체 위에 산다는 것은 자명하고, 딥러닝 응용에도 해당함
    예로 내 글에 링크된 Chris Olah의 2014년 블로그가 있음: https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
    임베딩 공간을 “공간”이라고 부르는 데는 이유가 있음
    GAN, VAE, 대조 손실은 모두 걸어 다니며 서로 다른 종류의 데이터를 만들 수 있는 벡터 다양체를 구성하는 문제임
  • 이건 연금술임
    현재 형태의 딥러닝은 가설적 기저 이론에 대해, 연금술이 화학에 대해 갖는 관계와 비슷함
    몇백 년 뒤 우리 이후 문명의 Inuktitut어권 고등학생들은 “deep learning”이라는 이상한 단어가 옛 공용어의 잔재였다고 배울 것임
  • 근사 오차를 허용하도록 정의를 느슨하게 하면 데이터가 다양체 위에 있다고 볼 수 있음. 예를 들어 Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning(https://aclanthology.org/2021.acl-long.568.pdf)을 참고할 수 있음
• “이 정도면 AGI까지 도달하기에 충분했다”는 문장을 읽는 순간 신뢰도가 급락했음
  전반적으로 아이디어는 괜찮지만 글은 꽤 두루뭉술하고, 특히 추론과 연결하는 부분이 그렇음
  이 영역에는 https://arxiv.org/abs/1402.1869처럼 이 아이디어를 확장하고 더 구체화한 진지한 기술 작업이 있음
• 심층 신경망에서 만나는 또 다른 위상은 네트워크 토폴로지임. 이는 네트워크 구조, 즉 노드가 어떻게 연결되고 데이터가 어떻게 흐르는지를 뜻함
  이미 자동인코더, 합성곱 신경망(CNN), 생성적 적대 신경망(GAN)처럼 생물학에서 영감을 받은 잘 알려진 예들이 있음
  하지만 뇌의 토폴로지와 기능적 연결성에 대해서는 아직 배울 것이 많음
  앞으로 개별 층/노드 내부 구조와 특화된 네트워크들이 서로 연결되고 상호작용하는 방식 모두에서 새로운 구조를 발견할 가능성이 큼
  뇌는 단일 네트워크에 의존하지 않고, 흔히 “Big 7”이라 부르는 여러 네트워크를 병렬로 운영하며 깊게 상호 연결함
  Default Mode Network(DMN), Central Executive Network(CEN), Limbic Network 등이 여기에 포함됨
  실제로 하나의 뉴런이 여러 네트워크에 속해 각기 다른 기능을 수행할 수도 있음
  인공 시스템에서는 아직 이런 복잡성을 충분히 복제하지 못했고, 이런 “네트워크 토폴로지”에서 배울 점과 영감을 얻을 점이 아직 많음
  그러니 “Topology is all you need” :-)
• “좋음과 나쁨을 구분할 수만 있다면 신경망을 훈련시켜 그 위상을 알아서 정리하게 할 수 있다”는 전제가 문제임
  약 10년 전 얼굴 사진에서 생물학적 성별을 추측하도록 네트워크를 훈련하는 프로젝트를 봤음
  편향을 줄이려고 화장, 콧수염, 머리카락 등을 조심스럽게 제거했지만 정확도는 70~80% 정도였음
  당시에는 훌륭한 결과처럼 보였고 99%를 목표로 하고 있었음
  논문을 읽고 제일 먼저 한 일은 비슷한 사진에서 사람이 생물학적 성별을 맞히는 논문을 찾는 것이었음
  사람도 그보다 훨씬 낫지 않았고, 사람과 기계의 차이는 1~2% 정도였음
  프로젝트를 운영하는 사람들에게 사진만으로 그런 구분이 가능하다는 것을 어떻게 증명했는지 물었지만, 질문 자체를 이해하지 못하고 그냥 가능하다고 가정했음
  결국 결과를 개선하지 못했음. 신경망을 잘 못 가르친 것일 수도 있지만, 성별 표지를 제거하면 많은 얼굴이 그냥 중성적일 수도 있음
  이 일화를 든 이유는 그들의 가정이 내 눈에는 꽤 합리적으로 보였기 때문임
  대부분의 상황에서 얼굴을 보면 누군가의 바지 안에 무엇이 있는지 추측할 수 있으니, 얼굴에 그 정보가 있을 거라고 본 것임
  하지만 교과서를 매년 다시 쓰고, “지식의 반감기”를 계산하려 하며, 철학이라는 학문도 끝나지 않았고, 매일 무엇이 최선인지에 대한 정치적·이념적 논쟁이 벌어지는 상황에서 우리가 좋음과 나쁨을 어떻게든 분리할 수 있다는 가정은 매우, 매우 비합리적임
  • 결국 “좋음”과 “나쁨” 사이에 그런 구분이 존재한다고 가정하는 것 자체도 합리적이지 않음
• AGI/ASI가 다음 토큰 예측, 채팅 모델, CoT 모델과 같은 다양체 위의 점이라고 주장하는 도표가 혼란스러움
  뒤의 세 가지가 같은 다양체의 일부라는 것은 증명 가능하겠지만, AGI/ASI까지 거기에 놓을 근거는 무엇인지 모르겠음
  CoT가 가능한 모델들이 위상적 조작을 아무리 해도 AGI로 볼 수 있는 과정에는 도달하지 못할 수도 있지 않나
  예를 들어 우리가 아는 AGI에 가장 가까운 인간 지능은, 자기회귀 모델의 이산적 처리와 달리 극도로 복잡한 감각 및 내부 피드백 루프와 연속 처리를 필요로 함
  문외한으로서의 직관으로는 LLM은 지능이나 의식을 생성할 수 있는 시스템들과 전혀 같은 계열이 아닌 것 같음
  • 가능함. AGI/ASI는 정의가 부실함. 개인적으로는 이미 AGI에 도달했다고 보는 편이고, 물론 많은 사람이 동의하지 않음
    인간 지능은 복잡한 감각·내부 피드백 루프와 연속 처리를 필요로 한다는 설명은, 신경망과 생물학적 네트워크가 실제로 꽤 비슷한 방식들을 가려버린다고 생각함
    connectomics 연구를 꽤 해봤는데, 예를 들어 쥐의 후각 시스템에서는 어떤 뉴런들이 발화하느냐에 따라 일종의 특징 벡터 같은 것이 나타남
    특정 뉴런 집합이 발화하면 “초콜릿”이나 “레몬” 같은 의미가 되는 식임
    더 일반적으로 뉴런 표현은 임베딩 표현과 어느 정도 비슷해 보이고, 어디서 어떤 뉴런이 발화하는지를 바탕으로 임베딩 공간을 구성하는 상상도 가능함
    임베딩 위의 모든 것은 “그저” 처리일 뿐임