- 간단한 로컬 규칙에서 복잡한 패턴을 역설계하는 방법을 탐구
- Neural Cellular Automata(NCA)의 학습 가능성과 Differentiable Logic Gate Networks를 결합해, 이산적 로컬 규칙을 학습 방식으로 얻는 접근
- "Conway's Game of Life 규칙을 학습해낼 수 있을까?"
- "NCA처럼 복잡 패턴을 재현하며, 시공간 순환 구조를 학습할 수 있을까?"
Introduction
- Cellular Automata(CA)는 단순한 로컬 규칙에서 출발해, 복잡하고 예측하기 어려운 패턴을 형성함
- 전통적으로 CA에서는 규칙을 사람이 직접 설계했지만, 여기서는 목표 패턴이나 동작을 미리 주어 놓고, 이를 만족하는 로컬 규칙을 역으로 ‘학습’할 수 있는 방식을 소개함
- 특히 Neural Cellular Automata(NCA) 는 CA 구조에 딥러닝 기법을 결합해, 연속 공간에서 학습 가능하도록 설계되어 왔음
- Differentiable Logic Gate Networks는 논리 게이트(AND, OR, XOR 등)를 연속적으로 근사해 학습하고, 최종적으로 다시 이산 논리회로로 변환하는 기법임
- 이 두 아이디어를 결합하여, DiffLogic CA라는 완전히 이산적이며 학습 가능한 CA 모델을 제안함
- 이는 프로그래머블 물질(Programmable Matter) 혹은 Computronium을 향한 작은 발걸음으로 볼 수 있음
- 본 글은 다음 흐름으로 진행됨
- Neural Cellular Automata 요약
- Differentiable Logic Gate Networks 요약
- 두 방법론을 결합한 DiffLogic CA 구조
- Conway’s Game of Life 규칙 학습 실험
- 복잡 패턴(체커보드, 도마뱀, 컬러 이미지 등) 생성을 위한 학습 실험
Recap – Neural Cellular Automata(NCA)
-
개념
- 전통적 CA 규칙을 뉴럴넷으로 학습 가능한 형태로 대체한 시스템임
- 각각의 셀이 여러 채널(state)을 가지고 로컬 상호작용을 통해 복잡한 패턴을 형성함
- Sobel 필터 등을 활용해 주변 정보를 얻고, 뉴럴넷이 상태 변화를 결정함
-
특징
- 모든 계산 과정이 미분 가능해, 원하는 패턴을 만들도록 학습할 수 있음
- 병렬성·로컬성·상태 기반 계산 등 CA 핵심을 유지하면서도 딥러닝 기법을 결합함
Recap – Differentiable Logic Gate Networks(DLGNs)
-
핵심 아이디어
- 전통적 NN 대신 논리 게이트(AND, OR, XOR 등)를 연속적으로 근사(soft gate)하여 학습함
- 학습 단계에서는 게이트가 연속적으로 동작하고, 최종 추론 시에는 실제 이진 연산을 수행하는 구조임
-
학습 과정
- 게이트의 16가지 가능한 논리 연산에 대한 확률 분포를 학습해, 최종적으로 특정 연산에 수렴함
- 연속 근사를 통해 미분 가능하게 만들고, 학습이 끝나면 완전히 이산 논리 게이트로 전환함
-
장점
- 최종 회로가 완전히 이진 논리 게이트로 구성되어, 하드웨어적으로 효율성이 높음
- 이산 로직 기반이므로 해석 가능성과 에너지 효율에 장점이 있음
Differentiable Logic Cellular Automata (DiffLogic CA)
-
구조
- 2D 격자에서 각 셀이 n비트 상태를 가지며, Perception → Update 단계로 시뮬레이션함
- Perception 단계
- 이웃 정보(채널별)를 논리 회로 커널로 처리함
- Update 단계
- 현재 상태와 Perception 결과를 또 다른 논리 회로로 통합해, 다음 시점 상태를 결정함
-
특징
- 모든 셀이 분산적으로 움직이는 작고 독립된 프로세서처럼 동작함
- 소프트(연속 근사)로 학습 후 하드(이진) 게이트로 추론해 효율성이 높음
- CAM-8과 같은 CA 기반 컴퓨팅 구조와 유사한 철학을 가짐
Experiment 1: Learning Game of Life
-
목적
- Conway's Game of Life 규칙을 DiffLogic CA로 학습해, 이를 완전히 재현할 수 있는지 확인함
-
설정
- 셀 상태 1비트 사용
- Perception에 16개 커널(각각 8→4→2→1 게이트 구조)
- Update에 23레이어(초반 16레이어 128노드, 이후 [64, 32, 16, 8, 4, 2, 1])
- 3x3 그리드에서 모든 가능한 상태(512개)를 학습해, 다음 스텝의 정확한 상태를 예측하도록 함
-
결과
- 학습 손실이 0에 근접하며 Game of Life 로컬 규칙을 완벽히 학습함
- 더 큰 그리드에서 실제 Game of Life처럼 글라이더, 블록 등 모든 패턴을 재현함
- 최종 회로에서 AND·OR 게이트가 많이 사용됨
Experiment 2: Pattern Generation
-
체커보드(Checkerboard) 예시
- 8비트 상태를 가진 셀이 20스텝 동안 16x16 체커보드를 형성함
- Perception에 16개 커널, Update에 16레이어(최대 256게이트)
- 최종 채널만 타깃 패턴과 비교해 손실 계산
-
결과
- 정확히 체커보드를 형성하며, 단 몇 개 게이트만으로 규칙이 간결하게 구현됨
- 4배 큰 그리드에서도 동일 규칙으로 스케일 업해 문제없이 동작함
- 일부 셀을 영구적으로 비활성화해도 패턴이 크게 망가지지 않고, 비활성 셀을 복원하면 자동으로 자기 치유함
-
Asynchronicity
- 비동기 업데이트로 학습해도 체커보드 패턴을 문제없이 학습함
- 동기식으로 학습한 규칙을 비동기 추론에 적용해도 잘 동작함
- 비동기 학습 규칙이 잡음이나 손상 상황에 좀 더 빠르게 복원하는 경향을 보임
Experiment 3: Growing a Lizard
-
목적
- 20x20 도마뱀 윤곽을 12스텝 만에 형성하도록 학습해, 복잡한 모양 생성 가능성을 확인함
-
설정
- 128비트 상태
- Perception 4커널(각 [8, 4, 2, 1] 게이트 구조), Update 10레이어(초반 8레이어 512게이트, 이후 [256, 128])
- 그리드 중앙에 하나의 활성 셀을 두고, 주기적 경계 조건 사용
-
결과
- 큰 그리드(40x40)에서도 정상적으로 도마뱀이 성장함
- 수많은 게이트가 사용되지만, 필요한 하이퍼파라미터 튜닝으로 학습 가능함
Experiment 4: Learning the G with colors
-
목적
- 3채널 RGB를 포함한 16x16 컬러 이미지를 15스텝에 걸쳐 생성해, 다채널 패턴 생성 검증함
-
설정
- 64비트 상태(첫 3채널을 RGB로 사용, 각 채널은 0 또는 1)
- Perception 4커널(각 [8, 4, 2]), Update 11레이어(초반 8레이어 512게이트, 이후 [256, 128, 64])
- 타깃 이미지는 8가지 컬러 중 하나씩 채우는 16x16 G 패턴
-
결과
- 손실 0에 가깝게 학습되며, 15스텝 후 타깃 컬러 G를 정확히 재현함
- 회로는 TRUE·FALSE 게이트가 많이 사용되고 OR 게이트가 두드러짐
Summary and Discussion
-
무엇을 했는가
- DiffLogic CA라는 완전히 이산적이면서도 학습 가능한 CA 모델을 제안함
- Game of Life처럼 고전 규칙을 복제하고, 체커보드·도마뱀·컬러 G 등의 패턴 생성 능력을 보임
- 이산 로직 회로로 구성되어 직관적 해석과 하드웨어 효율성을 기대할 수 있음
-
의의
- NCA가 보이는 자기 조직적 패턴을 이산 논리 게이트 기반으로도 학습 가능함을 입증함
- 손상 복원이나 비동기 업데이트 같은 특성을 고려하면, 분산·내결함성(robust) 컴퓨팅에 응용 가능성이 높음
-
한계 및 향후 과제
- 복잡한 이미지나 패턴 학습 시, 적절한 하이퍼파라미터 튜닝이 필요함
- LSTM형 게이트나 상태를 효율적으로 잊는 구조를 탐색해, 더 풍부한 패턴 형성을 가능하게 할 여지가 있음
- 회로의 규모 최적화, 학습 안정화 등을 개선하는 방향으로 확장 가능함
-
결론
- DiffLogic CA는 프로그래머블 물질(Programmable Matter) 혹은 Computronium과 같은 이론적 분산 컴퓨팅 방향으로 이어질 수 있는 유망한 접근임
- 완전히 이산적이면서도 학습 가능해, 미래 분산 시스템의 기반이 될 잠재성을 가짐