Differentiable 로직 셀룰러 오토마타

• 간단한 로컬 규칙에서 복잡한 패턴을 역설계하는 방법을 탐구
• Neural Cellular Automata(NCA)의 학습 가능성과 Differentiable Logic Gate Networks를 결합해, 이산적 로컬 규칙을 학습 방식으로 얻는 접근
  • "Conway's Game of Life 규칙을 학습해낼 수 있을까?"
  • "NCA처럼 복잡 패턴을 재현하며, 시공간 순환 구조를 학습할 수 있을까?"

Introduction

• Cellular Automata(CA)는 단순한 로컬 규칙에서 출발해, 복잡하고 예측하기 어려운 패턴을 형성함
• 전통적으로 CA에서는 규칙을 사람이 직접 설계했지만, 여기서는 목표 패턴이나 동작을 미리 주어 놓고, 이를 만족하는 로컬 규칙을 역으로 ‘학습’할 수 있는 방식을 소개함
• 특히 Neural Cellular Automata(NCA) 는 CA 구조에 딥러닝 기법을 결합해, 연속 공간에서 학습 가능하도록 설계되어 왔음
• Differentiable Logic Gate Networks는 논리 게이트(AND, OR, XOR 등)를 연속적으로 근사해 학습하고, 최종적으로 다시 이산 논리회로로 변환하는 기법임
• 이 두 아이디어를 결합하여, DiffLogic CA라는 완전히 이산적이며 학습 가능한 CA 모델을 제안함
• 이는 프로그래머블 물질(Programmable Matter) 혹은 Computronium을 향한 작은 발걸음으로 볼 수 있음
• 본 글은 다음 흐름으로 진행됨
  • Neural Cellular Automata 요약
  • Differentiable Logic Gate Networks 요약
  • 두 방법론을 결합한 DiffLogic CA 구조
  • Conway’s Game of Life 규칙 학습 실험
  • 복잡 패턴(체커보드, 도마뱀, 컬러 이미지 등) 생성을 위한 학습 실험

Recap – Neural Cellular Automata(NCA)

• 개념
  • 전통적 CA 규칙을 뉴럴넷으로 학습 가능한 형태로 대체한 시스템임
  • 각각의 셀이 여러 채널(state)을 가지고 로컬 상호작용을 통해 복잡한 패턴을 형성함
  • Sobel 필터 등을 활용해 주변 정보를 얻고, 뉴럴넷이 상태 변화를 결정함
• 특징
  • 모든 계산 과정이 미분 가능해, 원하는 패턴을 만들도록 학습할 수 있음
  • 병렬성·로컬성·상태 기반 계산 등 CA 핵심을 유지하면서도 딥러닝 기법을 결합함

Recap – Differentiable Logic Gate Networks(DLGNs)

• 핵심 아이디어
  • 전통적 NN 대신 논리 게이트(AND, OR, XOR 등)를 연속적으로 근사(soft gate)하여 학습함
  • 학습 단계에서는 게이트가 연속적으로 동작하고, 최종 추론 시에는 실제 이진 연산을 수행하는 구조임
• 학습 과정
  • 게이트의 16가지 가능한 논리 연산에 대한 확률 분포를 학습해, 최종적으로 특정 연산에 수렴함
  • 연속 근사를 통해 미분 가능하게 만들고, 학습이 끝나면 완전히 이산 논리 게이트로 전환함
• 장점
  • 최종 회로가 완전히 이진 논리 게이트로 구성되어, 하드웨어적으로 효율성이 높음
  • 이산 로직 기반이므로 해석 가능성과 에너지 효율에 장점이 있음

Differentiable Logic Cellular Automata (DiffLogic CA)

• 구조
  • 2D 격자에서 각 셀이 n비트 상태를 가지며, Perception → Update 단계로 시뮬레이션함
  • Perception 단계
    • 이웃 정보(채널별)를 논리 회로 커널로 처리함
  • Update 단계
    • 현재 상태와 Perception 결과를 또 다른 논리 회로로 통합해, 다음 시점 상태를 결정함
• 특징
  • 모든 셀이 분산적으로 움직이는 작고 독립된 프로세서처럼 동작함
  • 소프트(연속 근사)로 학습 후 하드(이진) 게이트로 추론해 효율성이 높음
  • CAM-8과 같은 CA 기반 컴퓨팅 구조와 유사한 철학을 가짐

Experiment 1: Learning Game of Life

• 목적
  • Conway's Game of Life 규칙을 DiffLogic CA로 학습해, 이를 완전히 재현할 수 있는지 확인함
• 설정
  • 셀 상태 1비트 사용
  • Perception에 16개 커널(각각 8→4→2→1 게이트 구조)
  • Update에 23레이어(초반 16레이어 128노드, 이후 [64, 32, 16, 8, 4, 2, 1])
  • 3x3 그리드에서 모든 가능한 상태(512개)를 학습해, 다음 스텝의 정확한 상태를 예측하도록 함
• 결과
  • 학습 손실이 0에 근접하며 Game of Life 로컬 규칙을 완벽히 학습함
  • 더 큰 그리드에서 실제 Game of Life처럼 글라이더, 블록 등 모든 패턴을 재현함
  • 최종 회로에서 AND·OR 게이트가 많이 사용됨

Experiment 2: Pattern Generation

• 체커보드(Checkerboard) 예시
  • 8비트 상태를 가진 셀이 20스텝 동안 16x16 체커보드를 형성함
  • Perception에 16개 커널, Update에 16레이어(최대 256게이트)
  • 최종 채널만 타깃 패턴과 비교해 손실 계산
• 결과
  • 정확히 체커보드를 형성하며, 단 몇 개 게이트만으로 규칙이 간결하게 구현됨
  • 4배 큰 그리드에서도 동일 규칙으로 스케일 업해 문제없이 동작함
  • 일부 셀을 영구적으로 비활성화해도 패턴이 크게 망가지지 않고, 비활성 셀을 복원하면 자동으로 자기 치유함
• Asynchronicity
  • 비동기 업데이트로 학습해도 체커보드 패턴을 문제없이 학습함
  • 동기식으로 학습한 규칙을 비동기 추론에 적용해도 잘 동작함
  • 비동기 학습 규칙이 잡음이나 손상 상황에 좀 더 빠르게 복원하는 경향을 보임

Experiment 3: Growing a Lizard

• 목적
  • 20x20 도마뱀 윤곽을 12스텝 만에 형성하도록 학습해, 복잡한 모양 생성 가능성을 확인함
• 설정
  • 128비트 상태
  • Perception 4커널(각 [8, 4, 2, 1] 게이트 구조), Update 10레이어(초반 8레이어 512게이트, 이후 [256, 128])
  • 그리드 중앙에 하나의 활성 셀을 두고, 주기적 경계 조건 사용
• 결과
  • 큰 그리드(40x40)에서도 정상적으로 도마뱀이 성장함
  • 수많은 게이트가 사용되지만, 필요한 하이퍼파라미터 튜닝으로 학습 가능함

Experiment 4: Learning the G with colors

• 목적
  • 3채널 RGB를 포함한 16x16 컬러 이미지를 15스텝에 걸쳐 생성해, 다채널 패턴 생성 검증함
• 설정
  • 64비트 상태(첫 3채널을 RGB로 사용, 각 채널은 0 또는 1)
  • Perception 4커널(각 [8, 4, 2]), Update 11레이어(초반 8레이어 512게이트, 이후 [256, 128, 64])
  • 타깃 이미지는 8가지 컬러 중 하나씩 채우는 16x16 G 패턴
• 결과
  • 손실 0에 가깝게 학습되며, 15스텝 후 타깃 컬러 G를 정확히 재현함
  • 회로는 TRUE·FALSE 게이트가 많이 사용되고 OR 게이트가 두드러짐

Summary and Discussion

• 무엇을 했는가
  • DiffLogic CA라는 완전히 이산적이면서도 학습 가능한 CA 모델을 제안함
  • Game of Life처럼 고전 규칙을 복제하고, 체커보드·도마뱀·컬러 G 등의 패턴 생성 능력을 보임
  • 이산 로직 회로로 구성되어 직관적 해석과 하드웨어 효율성을 기대할 수 있음
• 의의
  • NCA가 보이는 자기 조직적 패턴을 이산 논리 게이트 기반으로도 학습 가능함을 입증함
  • 손상 복원이나 비동기 업데이트 같은 특성을 고려하면, 분산·내결함성(robust) 컴퓨팅에 응용 가능성이 높음
• 한계 및 향후 과제
  • 복잡한 이미지나 패턴 학습 시, 적절한 하이퍼파라미터 튜닝이 필요함
  • LSTM형 게이트나 상태를 효율적으로 잊는 구조를 탐색해, 더 풍부한 패턴 형성을 가능하게 할 여지가 있음
  • 회로의 규모 최적화, 학습 안정화 등을 개선하는 방향으로 확장 가능함
• 결론
  • DiffLogic CA는 프로그래머블 물질(Programmable Matter) 혹은 Computronium과 같은 이론적 분산 컴퓨팅 방향으로 이어질 수 있는 유망한 접근임
  • 완전히 이산적이면서도 학습 가능해, 미래 분산 시스템의 기반이 될 잠재성을 가짐

[GN⁺]

Hacker News 의견

• 매우 흥미로움. 나는 새로운 범용 튜링 기계 기판을 수집하고 있음. 유전 프로그래밍 실험을 위해 포켓몬처럼 수집하고 있음. 이전에 셀룰러 오토마타(CA)를 사용해봤지만, 이번 접근이 훨씬 더 매력적임. 커널을 디지털 논리 회로처럼 모델링할 생각은 해본 적이 없었음
  • 불리언 논리, 게이트, 회로의 제약이 피트니스 랜드스케이프를 구축하는 흥미로운 결을 만들어냄. 결과 매개변수는 하드웨어 구현으로 직접 변환되거나 추가 최적화 단계를 거쳐 간단한 프로그램으로 컴파일될 수 있음. 수십억 개의 매개변수를 가진 블랙박스의 마법 같은 부동 소수점보다 나아 보임
• 셀룰러 오토마타를 예술에 활용하는 것을 좋아함. 어떤 패턴이 나타날 수 있는지 놀라움. DLCA를 사용해봐야 할 것 같음
• 매우 흥미로움. Michael Levin이 동물 세포가 계층 없이 협력할 수 있는 방법에 대해 제기한 질문이 인상적임. 개구리 배아의 눈 세포가 원래 위치로 이동하는 실험이 있음. 세포가 언제 멈춰야 하는지를 아는 방법에 대한 답은 없었음
  • 비계층적 조직을 이해하는 것이 사회가 작동하는 방식을 이해하는 데 중요함. 다양한 규모의 죄수의 딜레마를 해결하는 데도 중요함
  • 복잡성을 이해하고 모델링하는 것에 대한 것이기도 함
  • 처음으로 이러한 것을 모델링할 수 있는 능력을 봄. 많은 방향으로 나아갈 수 있음. 놀라움
• 최근 "지능"에 대해 많이 생각해왔음. 우리는 지능이 어떻게 작동하는지 이해하는 결정적인 시점에 있는 것 같음. 지능은 고전적인 뉴턴 역학이나 전기와 크게 다르지 않은 자연 발생적 행동임. 결국 간단한 규칙으로 귀결됨
  • 뇌의 비이산적인 모든 것이 단지 "인프라"라면? 실제 작업을 수행하는 근본적으로 간단하지만 중요한 핵심 프로세스를 지원하는 것이라면? 모든 것이 논리 게이트와 전기 신호로 귀결된다면?
  • 흥미로운 시대가 다가오고 있음
• 이들은 특히 일반화 능력에 있어 매력적임. 하지만 비전은 무엇인가? 미래에 무엇을 할 수 있을까? 철학적으로, 이것들이 세상에 대해 무엇을 가르쳐줄까? 1D 셀룰러 오토마타가 튜링 등가임을 알고 있음. 따라서 NCA/이것들은 크게 놀랍지 않음
• 획기적인 발견임. 체커보드나 도마뱀에 관한 것이 아님. Navier-Stokes 미분 방정식은 유체 운동을 지배하는 업데이트 규칙임. 구름 형성과 불꽃의 움직임 등 모든 복잡성이 간단한 법칙에 의해 지배됨. 이 방정식을 실제 샘플을 통해 발견하는 것이 과학임. DLCA 모델을 연기 비디오 녹화에 적용하여 Navier-Stokes 방정식을 유도할 수 있음. 업데이트 규칙 자체가 다른 업데이트 규칙에 따라 변경될 수 있음을 고려하면 흥미로운 영역에 들어갈 것임. 뇌의 뉴런이 수천 개의 뉴런과 연결되어 있는 이유일 수 있음
  • Google 임원들은 이 발견을 광고 사업과 관련이 없다고 무시할 것임. 몇 년 후 DLCA가 세상을 뒤집을 때, 그들의 직원이 발견했다고 주장할 것임
• 매우 흥미로운 논문임. 질문이 있음: "글로벌" 경사 하강법을 사용하여 업데이트되기 때문에 셀 게이트가 진정한 병렬이 아님
  • 엄격히 지역적인 가중치 조정 방법에 대한 가능성이 있는가?
• 불 대수의 연속적 완화는 오래된 아이디어임. 회로 합성은 잘 연구된 분야임. Google이 2년 전에 대회를 우승함. IWLS 대회 데이터 세트에 학습자를 적용해봤는지 궁금함. 그렇지 않다면, 왜 안 했는가?
• ARC-AGI 챌린지에 사용할 수 있을까? 최근 것과 결합할 수 있을까?
• 셀프 플러그이지만 관련 있음 => 다세포 인공 발생의 강건성과 정지 문제 (2011)
  • 업데이트 규칙이 퍼셉트론과 등방성 확산으로 결합된 셀룰러 오토마타. 신경망의 가중치는 셀룰러 오토마타가 그림을 그릴 수 있도록 최적화됨. 자기 치유(즉, 방해받았을 때 그림을 재구성함)
  • 당시에는 자동 미분이 지금처럼 접근 가능하지 않았음. 진화 전략으로 가중치를 최적화했음. 물론, 경사 하강법을 사용하는 것이 훨씬 나을 것임