What if Eye..? - 만약에 눈이...?

 (eyes.mit.edu)
1P by GN⁺ | ★ favorite | 댓글 1개
  • What if Eye...? 는 비디오게임 같은 우주에서 진화를 다시 실행해, 생물학적 시각 지능의 원리와 새로운 형태의 인공지능을 계산적으로 탐구하는 프로젝트임
  • 에이전트는 하나의 빛 감지 세포와 작은 뇌에서 출발해, 실제 물리·몸체 제약·생존 압력 속에서 시각 지능을 진화시킴
  • 내비게이션과 감지처럼 목표를 바꾸면, 어떤 눈 구조와 행동이 자연스럽게 나타나는지 비교할 수 있음
  • 뇌와 눈 크기를 함께 확장할 때는 멱법칙 스케일링이 보이지만, 시력이 병목이면 뇌만 키워도 행동 개선이 멈춤
  • 광학 유전자를 활성화하면 렌즈형 광학이 반복적으로 등장하며, 빛 수집과 공간 정밀도 사이의 근본적 트레이드오프를 푸는 방식으로 작동함

시각 진화를 다시 실행하는 실험 환경

  • What if Eye...? 는 “진화는 한 번 일어났다”는 전제에서 출발해, 비디오게임 같은 우주에서 시각 진화를 계산적으로 재현함
  • 목표는 고정 데이터셋과 인간 편향으로 설계한 시각 지능이 아니라, 환경 안에서 감지 하드웨어와 지각·추론·행동 소프트웨어가 출현하도록 만드는 것임
  • 에이전트는 하나의 빛 감지 세포와 작은 뇌만 가지고 시작함
    • 실제 물리 조건을 마주함
    • 몸체를 가진 제약을 받음
    • 생존 압력 속에서 시각 지능을 진화시킴
  • 각 실험은 하나의 가설처럼 구성됨
    • What-if 질문이나 반사실적 조건을 설정함
    • 비디오게임 같은 물리 엔진 안에서 몸체를 가진 에이전트를 진화시킴
    • 어떤 눈과 행동이 나타나는지 관찰함

눈과 뇌가 함께 진화하는 조건

  • 시각의 목표가 달라지는 경우, 에이전트는 두 가지 과제만 있는 세계에서 진화함
    • NAVIGATION: 장애물인 미로 벽을 피하면서 가능한 한 빠르게 왼쪽으로 이동하는 것이 목표임
    • DETECTION: 먹이를 감지하고 독을 피하는 것이 목표임
  • 뇌가 진화 내내 작게 유지되는 조건에서는, 눈과 뇌 크기를 함께 체계적으로 확장할 때 신경 용량과 과제 성능 사이에 멱법칙 스케일링이 나타남
    • 이 관계는 시각 해상도도 함께 확장될 때만 성립함
    • 시각 해상도가 병목이면 뇌만 키워도 더 나은 행동으로 이어지지 않음
  • 눈이 빛을 굴절시킬 수 있는 조건에서는 광학 유전자를 활성화함
    • 광학이 없으면 핀홀 전략으로 이미지를 선명하게 만들 수 있지만, 빛을 희생해야 해 한계에 부딪힘
    • 광학이 있으면 렌즈가 빛 수집과 공간 정밀도 사이의 트레이드오프를 해결하는 방식으로 등장함
  • 통합 유전형은 하드웨어인 물리적 시각 센서와 소프트웨어인 학습 구성요소를 함께 포함함
    • 형태 유전자는 눈의 위치와 시야각 같은 공간 샘플링 특성을 정함
    • 광학 유전자는 광수용체 수, 광학 요소, 동공 크기 같은 빛 상호작용을 다룸
    • 신경 유전자는 학습 용량을 지정함
    • 세 유전자 클러스터를 독립적으로 변이 가능하게 나눠 현실적인 진화 경로를 탐색할 수 있음

공개 자료와 발표

  • 프로젝트는 논문, 로드맵, 발표, 오픈소스 도구, 공개 전시를 제공함
  • 주요 출판물은 다음과 같음
    • Computationally Recreating Vision Evolution: 전체 실험 설정, 결과, 진화 분석을 담은 Science Advances 동료심사 논문
    • A Roadmap for Generative Design of Visual Intelligence: 시각 지능을 손으로 설계하지 않고 생성해야 하는 이유, 응용, 접근법을 정리한 MIT Press 글
    • Designing Imaging Systems with Reinforcement Learning: 환경 피드백 기반으로 이미징 시스템과 과제 특화 지각 모델을 공동 설계하는 방법을 제안한 ICCV 논문
    • Emergence of foveal image sampling from learning to attend in visual scene: 시각 장면에서 주의를 학습하면 중심와 이미지 샘플링이 나타난다는 NeurIPS 논문
    • Designing neural network architectures using reinforcement learning: 시각 과제 성능 개선을 위해 강화학습으로 신경망 아키텍처를 설계한 ICLR 논문
    • The First Signs of Vision: 캄브리아기 대폭발부터 오늘날까지 동물 시각 진화의 인터랙티브 시뮬레이션을 다룬 Cathy Chang의 MIT 논문
  • 공개 발표에는 다음 항목이 포함됨
  • 코드와 전시 항목도 제공됨
    • Simulator: 진화 시뮬레이터를 실행하고, 새 과제를 정의하며, 몸체를 가진 에이전트를 직접 진화시킬 수 있는 오픈소스 도구
    • Colab Notebook: 브라우저에서 Cambrian agents를 실험하기 위한 인터랙티브 노트북이며, 아직 공개 예정 상태임
    • Video Exhibition: 방문자가 진화하는 시각을 직접 경험할 수 있게 하는 공개 참여형 전시
  • 이 협업은 MIT GenAI Impacts of Generative AI Grant의 지원을 받음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 고등학교 컴퓨터과학 선생님이 투구게 눈에 대해 수업해 준 적이 있음
    투구게 눈은 시야보다 큰 것은 보지 못해서 작은 생물은 먹고 큰 생물은 무시한다고 했고, 이를 위해 Excel에서 신경망 모델을 사용했음
    그 선생님은 훌륭한 분이었고, 컴퓨터과학에서 호기심과 통찰을 갖는 법을 가르쳐 줬으며 Donald Knuth, TeX 등도 알려줬음

    • 시야보다 큰 것을 보지 못한다는 게 잘 상상이 안 됨
      사람도 눈앞에 충분히 크고 균일하게 빛나는 물체가 있으면 그것을 “본다”고 하기 어려운 것과 같은 건가 싶음

  • Dawkins도 여기서 눈의 진화를 간결하게 설명함: https://www.youtube.com/watch?v=2X1iwLqM2t0

    • 강연은 “눈이 전혀 없고, 빛에 민감한 세포 한 장만 있는 조상에서 시작한다고 가정해 보자”로 시작함
      이 조건은 아주 기본적이라 0에서 “빛에 민감한 세포 한 장”으로 가는 게 거의 아무것도 아닌 것처럼 보이지만 실제로는 그렇지 않음
      그 이전에 광수용 단백질, 기능하는 신경계나 신호 처리 경로, 빛 흡수를 전기 신호로 바꾸는 장치, 그 신호를 생물의 다른 부분과 조율하는 체계 등이 필요함

  • 생물학보다는 물리/컴퓨터과학 질문에 가깝겠지만, MIT가 눈으로 한 실험을 전체 생물체에 대해 해볼 만큼 충분히 좋은 물리 시뮬레이터까지 얼마나 남았는지 궁금함
    언젠가 가능해져서 지구의 물리를 입력하면 지구 생물과 대략 비슷한 생물을 출력할 수 있다면, 외계 행성의 물리를 넣어 그 생명체가 어떤 모습일지도 알아낼 수 있을 것 같음

    • 재미있게도 지금 취미로 비슷한 걸 만들고 있음. 곧 오픈소스로 공개할 예정: https://www.youtube.com/watch?v=PDePFvxj6Po
      생물체 전체의 복잡성을 모델링하려면 아직 꽤 멀었다고 봄. 하지만 연구 질문에 답하려는 목적이라면 지금도 더 단순한 버전은 모델링할 수 있음. 이 연구팀이 시각이 어떻게 진화하는지 다룬 것처럼 가능함
      최근에는 C. elegans를 모든 뉴런과 신경전달물질까지 포함해 3D로 모델링했고, 가상 자극에 실제 벌레처럼 반응했음 (https://www.nature.com/articles/s43588-024-00738-w)
      단일 생물체는 이미 가능하지만, 이런 존재들이 3D에서 진화하는 건 시간이 더 걸릴 것 같음. 참고로 컴퓨터과학 전공자는 아니고 그냥 애호가임
    • 시뮬레이션에 원하는 정밀도에 따라 답은 “80년대에도 가능했다”부터 “문자 그대로 불가능하다”까지 갈림
    • 10년 전 학계에 있을 때도 이온을 용매화하는 물 분자 8개 이상을 모델링하면 계산 비용이 매우 커지기 시작했음
      모델을 얼마나 정확하게 만들고 싶은지에 달렸고, 꿈같은 수준으로 생각하면 이런 시뮬레이션이 의미 있으려면 양자컴퓨팅이 필요하다고 봄
    • 철학적으로 보면 불가능하다고 할 수도 있음
      수학 같은 데 적용되는 법칙이라는 생각이 생물체에는 맞지 않을 수 있는데, 생물체는 목적론으로 설명되기 때문임. 심장은 우연히 혈액을 순환시키는 게 아니라, 몸에 산소를 공급하려고 혈액을 순환시키기 위해 뜀
      또 추운 기후에 사는 생물이 대체로 두꺼운 털을 가진다고 해서, 두꺼운 털이 곧 추운 기후를 의미하지는 않음. 어떤 포유류는 다른 생태계에서 새가 차지하는 생태적 지위를 채우고, 또 다른 곳에서는 물고기가 그 역할을 함. 뉴질랜드에서는 다른 생태계라면 포유류가 채울 지위를 새가 채우기도 함
      생물학이 순수하게 귀납적인 과학이 될 수 있는지는 잘 모르겠음
    • 근육과 골격 구조의 물리 시뮬레이션은 여러 번 이뤄졌고, 이번 연구가 흥미로운 건 눈과 시각에 초점을 맞췄기 때문이라고 느낌
      관련 YouTube 영상도 꽤 재미있는 범주임: https://www.google.com/search?q=simulating+evolution+muscles
      보통은 2차원이거나 큰 단순화가 들어감. “진짜” 생물체를 진화시키려 하면 “뇌”를 무시하더라도 복잡도가 매우 빠르게 폭발할 것 같음

  • Greg Egan의 Permutation City(1994)에 나오는 “Autoverse”가 떠오름. 이 글이 마음에 들었다면 강력 추천함

    • 더 짧게 읽고 싶다면 같은 작가의 “Crystal Nights”도 있음: https://www.gregegan.net/MISC/CRYSTAL/Crystal.html
    • 동의함. 같은 작가의 Diaspora도 깊이 추천함. “Permutation City”보다 조금 더 접근하기 쉬울 수 있음

  • 눈의 진화와 관련한 재미있는 사실로, 잠자리 눈에 보이는 검은 점은 따라다니는 동공도 아니고 눈 자체의 변화도 아님
    실제로는 잠자리 눈의 기둥 구조를 정면으로 들여다보고 있는 것임. 빛을 매우 효율적으로 포획해서 검게 보이며, 효율 면에서 물리적 한계에 아주 가까움

    • 잘 이해가 안 됨. 사람의 동공도 빛이 들어가고 다시 나오지 않아서 검게 보이는 것 아닌가?
    • 그러면 잠자리는 스케일링 법칙에 도달한 건가?

  • 90년대에 인공생명 시뮬레이터를 만들던 경험으로는, 모델에 시뮬레이션 작성자가 넣는 매개변수에 의존하는 부분이 너무 많음
    빛에 민감한 세포에서 시작하고, 미로를 잘 통과하는 행위자에게 보상을 주는 유전 알고리즘을 만들면, 결국 여러 광감응 세포를 눈처럼 쓰는 행위자가 “진화”하게 됨
    그게 정말 진화나 생명에 대해 알려주는 건지, 아니면 설정한 시뮬레이션에 대해 알려주는 건지 의문임

    • 세 번째라고 보지만, 예전의 주방 싱크식 생물체 시뮬레이션과는 다르다고도 생각함. 그런 것들은 얕게 프로그래밍된 행동들이 서로 상호작용하는 모습을 지켜보는 데 가까웠음
      이건 시뮬레이션이라기보다 모델에 가깝고, 특정한 실제 현상을 가능한 한 집중적이고 간결하게 설명하려는 모델임
      여기서 얻을 점은 복안과 카메라형 눈이라는 두 종류의 눈이, 최소한의 해부학적 조절 요소와 함께 3개의 특정 과제 집합으로 모델링될 수 있다는 것임
      그러면 모델에서 나온 명확한 증거를 비교·대조하고, 이런 설명이 진화생물학 방법으로 얻는 덜 확정적인 설명과 어떻게 맞물리는지 보는 게 실제로 유익할 수 있음
      좋은 비유로는 게이트, 래치, 클록만으로도 현대 슈퍼스칼라 마이크로아키텍처의 “출현”을 설명할 수 있는지 보는 것임. 고주파를 물리 회로에 밀어 넣을 때 생기는 아날로그적 혼돈까지 모델링할 필요는 없다는 뜻임
    • 당연히 마지막에 관한 것임. 물리학처럼 그냥 실험으로 검증할 수는 없으니 그 정도가 전부임
      적절한 질문은 그 지식이 완전히 쓸모없는지, 아니면 나중에 무언가에 도움이 될 수 있는지일 것 같음

  • “처음부터”라는 제목이 붙으려면 단일 광수용기도 다른 무언가에서 진화하는 모습이 나올 줄 알았음

  • 임시로 저쪽에서 해결하는 동안 웹사이트를 미러링해 둠: https://cambrian.pages.dev/
    웹사이트가 깨진 것 같아서(저장소가 삭제됐나?) 대신 여기로 가야 했음: https://eyes.mit.edu/ACI/
    그리고 그 웹사이트가 다루는 논문은 여기 있음: https://arxiv.org/pdf/2501.15001

    • 이제 다시 올라왔음

  • 저자임. 궁금한 게 있으면 답하겠음

    • 여기서 목표가 뭔가? 이걸로 앞으로 무엇을 할 계획인지 궁금함
답변달기