- Continuous Thought Machine(CTM) 은 신경망 계산에 시간적 신경 동역학을 명시적으로 넣어, 정적 feed-forward 처리만으로는 다루기 어려운 “생각의 전개”를 모델 내부에서 구현하려는 새 아키텍처임
- 구조의 중심에는 데이터 순서와 분리된 internal ticks, 뉴런별 MLP가 최근 pre-activation 이력을 처리하는 neuron-level models, 뉴런 쌍의 시간적 동기화를 표현으로 쓰는 방식이 있음
- ImageNet, 2D 미로, parity, Q&A MNIST, CIFAR-10/100, 실수 정렬, 강화학습 실험에서 핵심 구조를 유지하고 입력·출력 모듈만 바꾸며 적용 가능성을 보임
- 미로 실험에서는 위치 임베딩 없이 L/R/U/D/W 경로를 직접 예측했고, 39×39 미로와 길이 100까지 학습한 모델이 99×99 미로와 약 6배 긴 경로에도 일반화하는 사례를 보임
- CTM은 동기화 표현을 통해 메모리 회상, 적응형 계산, 해석 가능한 주의 이동, 내부 월드 모델 형성 같은 동작을 보였지만, 실제 뉴런을 문자 그대로 모사하는 모델은 아님
CTM이 겨냥하는 문제
- 기존 신경망은 생물학적 뇌에서 나타나는 시간적 신경 동역학을 의도적으로 단순화해, 대규모 딥러닝에 적합한 정적 활성값 중심으로 처리해 왔음
- 뇌에는 spike-timing-dependent plasticity(STDP), 신경 진동, spike timing과 synchrony에 기반한 시간 코딩이 있지만, 현대 신경망은 주로 단순성과 계산 효율을 우선함
- 인간 인지의 유연성과 일반성에 비해 현재 AI가 부족한 부분이 있으며, 그 일부는 시간 처리와 관련될 수 있음
- CTM의 기여는 세 요소로 정리됨
- 분리된 내부 차원: 인공 신경 시스템에서 사고가 펼쳐질 수 있는 시간 축
- neuron-level models(NLMs): 각 뉴런이 고정 ReLU 같은 정적 함수 대신 입력 신호 이력을 처리해 활성화됨
- neural synchronization: 관찰과 예측에 직접 쓰이는 잠재 표현
추론 모델과 recurrence
- 기존 모델을 키우는 방식은 큰 진전을 냈지만, 계산 비용과 데이터 요구가 커 장기적 지속 가능성에는 의문이 남아 있음
- 순차 데이터에서는 RNN 계열이 오래 쓰였으나 Transformer 기반 접근이 많이 대체했고, 최근에는 recurrence가 모델 복잡도를 확장하는 경로로 다시 주목받음
- 텍스트 생성의 reasoning models는 중간 생성을 통해 테스트 시점 계산을 늘리는 recurrence 형태를 사용함
- CTM은 recurrence 자체보다, recurrence가 열어 주는 정확한 타이밍과 신경 활동의 상호작용을 핵심으로 봄
- 기존 접근과의 차이는 세 가지임
- 데이터 모달리티와 분리된 내부 차원에서 순차적 사고가 가능함
- 뉴런별 private model이 정밀한 신경 타이밍을 다룸
- 신경 동기화를 과제 해결 표현으로 직접 사용함
CTM의 세 가지 핵심 메커니즘
- CTM은 데이터를 처리하는 동안 내부적으로 신경 활동을 여러 tick에 걸쳐 펼쳐 나가는 구조임
- 한 internal tick에서 최근 pre-activation 이력이 수집되고, NLMs가 이를 처리해 post-activation을 만듦
- 시간에 따른 post-activation 이력은 뉴런 간 동기화를 계산하는 데 쓰이며, 이 결과가 Synchronization Representation이 됨
- 기술 세부사항은 Technical Report에 있으며, GitHub repository도 공개됨
-
Internal ticks: 사고가 펼쳐지는 내부 차원
- CTM은
t ∈ {1, …, T}형태의 연속적인 내부 차원을 도입함 - RNN이나 Transformer처럼 단어, 프레임 등 데이터 자체의 순서를 따라 처리하는 대신, 스스로 생성한 internal ticks를 따라 작동함
- 이 내부 전개 덕분에 이미지나 미로처럼 정적이거나 비순차적인 데이터에서도 표현을 반복적으로 만들고 다듬을 수 있음
- 페이지 상단의 인터랙티브 미로 데모는 75 ticks를 사용함
- CTM은
-
Recurrent weights와 neuron-level models
- CTM의 synapse model은 U-NET 형태의 recurrent MLP이며, 매 tick에서 pre-activation을 생성함
- 최근
M개의 pre-activation이 각 뉴런의 입력 이력으로 모임 - 각 뉴런
d는 고유 파라미터θd를 가진 private MLP로 자기 pre-activation 이력을 처리하고 post-activation을 생성함 - 모든 뉴런의 post-activation은 attention output과 결합되어 다음 tick의 recurrent 계산에 들어감
-
Synchronization representation
- CTM은 특정 시점의 뉴런 상태 스냅샷이 아니라, 시간에 따른 뉴런 활동 동역학에 따라 입력을 소비하고 출력을 만들도록 설계됨
- post-activation 이력
Zt의 내적St = Zt · (Zt)^T로 뉴런 간 synchronization matrix를 계산함 - 이 행렬은
O(D²)로 커지기 때문에 실제 사용에서는(i, j)뉴런 쌍을 부분 샘플링해Sout과Saction표현을 만듦 Sout은 출력 공간으로 투영되어 logits 같은 예측을 만들고,Saction은 attention query처럼 관찰을 위한 행동에 사용됨- 모델 폭
D가 커질수록 가능한 동기화 표현은D × (D+1) / 2규모로 커짐
-
데이터 입력 방식
- 데이터는 각 internal tick에서 현재 synchronization에 기반해 attention으로 관찰됨
- 대부분의 실험에서는 표준 cross attention을 사용함
- FeatureExtractor가 데이터에서 key와 value에 쓸 지역 특징을 만들고, synchronization에서 투영된 query가 이를 조회함
- attention output은 다음 recurrence 사이클에서 post-activation과 함께 사용됨
학습 손실: internal ticks 전체를 최적화
- CTM은 각 internal tick마다 출력을 생성함
- 각 tick의 예측에 대해 cross-entropy 같은 표준 손실을 계산하고, certainty는
1 - normalized entropy로 계산함 - 최종 손실은 두 tick을 동적으로 골라 평균함
- 손실이 최소인 tick
t1 = argmin(L) - 확신도가 최대인 tick
t2 = argmax(C)
- 손실이 최소인 tick
- 이 방식은 마지막 step 하나에만 의존하지 않아, 여러 internal ticks에서 의미 있는 계산이 일어나도록 만듦
- 손실 설계는 curriculum 효과를 자연스럽게 만들고, 문제 난도에 맞춰 계산량을 조정할 수 있게 함
ImageNet 실험
- ImageNet 실험의 목적은 새로운 state-of-the-art 달성이 아니라, CTM이 데이터와 상호작용하는 방식을 보여주는 데 있음
- CTM은 이미지를 관찰하면서 예측을 쌓아 올리고, 이 과정에서 neural synchronization을 직접 표현으로 사용함
- internal steps를 중간에 끊을 수 있어 adaptive compute가 가능함
- 일정 지점 이후 정확도 향상은 작지만, 추가 이득은 존재함
- 데모에서는 16개 attention heads의 attention weights, 클래스 예측, 시간에 따른 certainty가 표시됨
- 신경 활동은 UMAP 투영으로 2D 시각화되며, 각 뉴런은 점으로 표시되고 크기는 절대값, 색은 값의 부호와 크기를 나타냄
2D 미로 실험
- 미로 풀기는 모델이 출발점에서 도착점까지 경로를 단계적으로 구성해야 하는 과제로 설정됨
- CTM은 경로를 이미지가 아니라 L/R/U/D/W 단계 시퀀스로 직접 예측하도록 학습됨
- 페이지 상단에는 작은 버전의 인터랙티브 데모가 있고, 더 큰 모델의 데모도 제시됨
- 데모에서는 75 internal ticks 동안 경로가 만들어지는 과정을 보여주며, 벽을 통과하는 예측은 유효 경로 표시에서 제외됨
- 16개 attention heads의 가중치와 평균 attention이 함께 표시되어 모델이 어디에 집중하는지 볼 수 있음
-
일반화와 월드 모델
- 길이 100까지의 경로를 39×39 미로에서 풀도록 학습한 CTM을 더 큰 99×99 미로에 적용함
- 예시 미로의 전체 경로는 학습 조건보다 대략 6배 김
- CTM은 위치 임베딩을 사용하지 않았고, 경로를 클래스 문자열로 직접 예측해야 했음
- 위치 임베딩이 없기 때문에, CTM은 데이터를 질의하고 미로를 탐색하기 위해 internal world model을 만들어야 함
- 연구진은 게임이나 비디오 같은 더 복잡한 환경에서 명시적 위치 인코딩 없이 CTM이 어떻게 길을 찾는지 보고 싶다고 밝힘
Parity 실험
- parity task는 이진 시퀀스의 누적 parity를 64개 위치 각각에서 예측하는 과제로 구성됨
- 전체 64-length binary vector가 한 번에 주어지므로, 단순한 순차 입력보다 더 어려운 설정임
- CTM은 internal ticks 수를 달리해 학습됐고, 파라미터 수를 맞춘 LSTM과 비교됨
- 75 internal ticks를 넘는 CTM은 이 과제를 안정적으로 풀 수 있었고, 일부 실행은 100% 정확도에 도달함
- LSTM은 10 internal ticks를 넘으면 학습에 어려움을 보였으며, 내부 사고 차원을 펼치는 데 적합하지 않은 결과를 보임
- 데모에서는 일부 attention heads가 뒤쪽에서 앞쪽으로 데이터를 훑고, 첫 번째 attention head가 negative parity 위치에만 attend하는 등 해석 가능한 행동이 나타남
- 두 CTM 예시는 서로 다른 전략을 학습함
- 하나는 데이터를 역순으로 attend한 뒤 누적 parity를 한 번에 예측함
- 다른 하나는 정방향으로 attend하며 parity를 점진적으로 예측함
- 둘 다 완벽한 정확도에 도달함
Q&A MNIST 실험
- Q&A MNIST는 CTM의 기억과 회상 능력을 평가하기 위한 과제임
- 모델은 먼저 MNIST digit 시퀀스를 보고, 이후 어떤 digit을 회상하고 어떤 modular operation을 적용할지 지정하는 index와 operator embedding을 받음
- 모든 digit과 index/operator embedding이 제시된 뒤 zero-tensor flag가 최종 답변 생성을 지시함
- 실험에서 CTM의 memory length는 MNIST digit이 neuron-level models의 activation history window 밖에 놓이도록 설정됨
- 따라서 CTM은 나중에 digit을 회상하려면 활성화를 조직해 정보를 보존해야 함
-
결과와 일반화
- LSTM은 input당 internal tick이 하나일 때 CTM보다 성능이 높지만, internal ticks가 늘어나면 더 불안정해짐
- CTM은 internal ticks가 증가할수록 성능이 강해졌고, 가장 어려운 in-distribution task에서 95% 이상 정확도를 달성함
- CTM은 오래전 timestep에서 본 digit 값을 회상할 수 있었고, 이는 뉴런의 조직화와 동기화에서 나온 결과로 해석됨
- 일반화 실험에서는 학습 때보다 더 많은 digits 또는 index-operator embeddings가 입력될 때 정확도를 측정함
- CTM과 LSTM baseline 모두 operation 수 증가에는 일반화할 수 있었음
- empirical 결과에서, 새 index embedding이 제시될 때마다 모델이 지정된 operation 결과를 계산하고 저장하기 때문에 final answer flag를 기다리지 않고 계속 처리할 수 있었음
- CTM은 internal ticks가 많을수록 성능이 커졌고, LSTM은 반대 경향을 보임
추가 실험
-
CIFAR-10: 인간, feed-forward, LSTM과 비교
- CIFAR-10 실험은 CTM을 human performance, feed-forward baseline, LSTM baseline과 비교하기 위한 설정임
- 차이를 드러내기 위해 제한된 backbone을 사용함
- 인간 라벨 데이터셋으로 CIFAR-10D와 CIFAR-10H를 사용함
- CIFAR-10D는 난이도 수준 보정과 관련됨
- CIFAR-10H는 인간 불확실성을 정량화하는 데 쓰인 데이터셋임
- CIFAR-10D는 여기, CIFAR-10H는 여기에 있음
- calibration 계산에는 CIFAR-10H의 확률이 사용됐고, CTM은 인간과 비교해도 가장 좋은 calibration을 보임
- CTM의 신경 활동은 풍부하고 다양하며 복잡한 동역학을 보였고, periodic driving function 없이도 periodic behavior가 나타남
- CTM과 LSTM의 신경 활동 차이는 neuron-level models와 synchronization representation이 계산 메커니즘으로 신경 동역학을 가능하게 한다는 근거가 됨
-
CIFAR-100 ablation
- CIFAR-100 실험에서는 뉴런 수, 즉 모델 폭을 바꾸면서 다른 조건과 학습 시간을 고정함
- 더 넓은 네트워크는 더 긴 학습 시간이나 다른 hyper-parameters가 필요할 수 있어 일부 정확도 감소가 나타남
- neuron-level models가 얼마나 고유해지는지 보기 위해 뉴런 간 동역학의 cosine similarity를 측정함
- 모델 폭이 커질수록 뉴런 간 다양성이 줄어드는 것이 아니라 더 커지는 현상이 관찰됨
- internal ticks 수와 예측의 관계도 분석됨
- 25, 50, 100 internal ticks 설정에서 CTM이 가장 확신하는 step의 분포를 확인함
- 각 설정에서 두 개의 집중 영역이 나타났고, CTM이 데이터에 따라 별도의 내부 프로세스를 따르는 것으로 해석됨
-
실수 정렬
- CTM은
N(0, I30)에서 나온 30개 실수를 정렬하도록 학습됨 - 목적은 통제된 환경에서 CTM이 언제 더 많거나 적은 계산을 적용하는지 보고, CTC loss로 순차 출력을 학습할 수 있는지 확인하는 것임
- 이 CTM은 길이 30 실수 리스트를 약 80% 확률로 정렬할 수 있었음
- CTM은
-
강화학습
- CTM은 continuous thought dimension으로 비순차 데이터를 처리하는 데서 나아가 외부 환경과 상호작용하는 과제에도 적용됨
- proximal policy optimization으로 navigation task와 partially observable CartPole, Acrobot 변형을 학습함
- 이 설정에서 CTM은 관찰을 받고 고정된 수의 internal thought steps로 처리한 뒤 다음 action을 출력함
- activation history는 환경 step 사이에서 연속적으로 유지되어, 과거 environment step의 activation이 현재 의사결정에 영향을 줄 수 있음
- 결과적으로 CTM은 LSTM baseline과 비교 가능한 성능을 냈고, continuous environment에서도 학습할 수 있음을 보임
결론과 한계
- CTM은 pointwise activation function을 private neuron-level models로 대체해 더 풍부한 뉴런 동역학을 만들고, activation vector가 아니라 neural synchronization을 새로운 표현으로 사용함
- 이 접근은 이미지 분류에서 시간에 따른 표현 구축, 위치 임베딩 없는 미로 attention과 내부 지도 형성, adaptive computation, activation history 밖의 기억 저장과 회상을 가능하게 함
- 핵심 CTM 아키텍처는 다양한 과제에서 대체로 유지됐고, 주로 입력·출력 모듈 조정만 필요했음
- 미로 탐색 같은 복잡한 시나리오에서 CTM은 적은 튜닝으로 동작했으며, LSTM은 상당한 튜닝 뒤에도 어려움을 겪음
- CTM은 생물학적 뉴런을 엄격하게 문자 그대로 모사하려는 모델은 아님
- 실제 뉴런이 CTM처럼 activation history에 접근하지 않을 수 있음
- 그럼에도 traveling waves 같은 emergent phenomena가 나타남
- CTM은 생물학에서 개념을 빌려 실용성과 생물학적 영감을 절충하는 방식이며, 현재 AI에 부족한 능력을 여는 연구 방향이 될 수 있음