Infinigen: 절차적 생성으로 무한한 포토리얼리스틱 세계 구현

 (github.com/princeton-vl)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Infinigen은 절차적 생성으로 포토리얼리스틱 세계를 만드는 프로젝트이며, 자연 장면, 실내 장면, 관절형 시뮬레이션 자산을 다루는 시작 가이드를 제공함
  • 사용자는 설치 후 Infinigen-Indoors, Infinigen-Nature, Infinigen-Articulated 흐름을 통해 방 장면, 자연 장면, 시뮬레이터용 관절형 자산 생성을 시작할 수 있음
  • 관련 연구는 CVPR 2023 논문 Infinite Photorealistic Worlds using Procedural Generation, CVPR 2024 논문 Infinigen Indoors, 2025년 arXiv 논문 Infinigen-Articulated로 이어짐
  • 문서에는 설치, 카메라 설정, 사전 생성 데이터 다운로드, 개별 자산 생성, OBJ·OpenUSD 등 외부 파일 형식 내보내기, 물리 시뮬레이션 내보내기, 확장 ground-truth 등이 포함됨
  • 기여 방식은 저장소 코드, 절차적 생성기, 사전 생성 데이터 제공으로 나뉘며, Blender Nodes를 Python 코드로 변환하는 도구와 GitHub Issues 기반 지원 절차가 안내됨

Infinigen이 제공하는 생성 대상

  • Infinigen은 절차적 생성으로 포토리얼리스틱 세계를 만드는 프로젝트임
  • 시작 흐름은 세 갈래로 제공됨
    • Hello Room: Infinigen-Indoors로 실내 장면을 생성함
    • Hello World: Infinigen-Nature로 자연 장면을 생성함
    • Infinigen-Articulated: 관절형 시뮬레이션 자산을 생성하고 시뮬레이터로 내보내는 흐름을 제공함
  • 프로젝트는 웹사이트, 소개 영상, 논문, 문서, 기여 안내를 함께 제공함

시작 방법과 예제

  • 먼저 Installation Instructions를 따라 설치해야 함
  • Infinigen-Indoors 시작 문서는 HelloRoom.md에 있음
    • 예시 이미지는 Blender 장면, 렌더링 결과, depth, object 관련 출력을 보여줌
  • Infinigen-Nature 시작 문서는 HelloWorld.md에 있음
    • 예시 출력은 이미지, depth, surface normal, instance segmentation을 포함함
  • Infinigen-Articulated 시작 흐름은 Exporting to Simulators 문서에 있음
    • 관절형 자산을 시뮬레이터로 내보내는 사용 사례를 다룸

관련 논문

문서 범위

  • 문서는 설치와 첫 장면 생성뿐 아니라 구성·카메라·데이터·내보내기 흐름을 다룸
  • 제공 문서 항목에는 다음이 포함됨
    • Installation Guide
    • “Hello World”: 첫 Infinigen-Nature 장면 생성
    • “Hello Room”: 첫 Infinigen-Indoors 장면 생성
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, 예: OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • 프로젝트 로드맵은 Infinigen 웹사이트의 roadmap 페이지에서 제공됨

기여와 지원 절차

  • 기여 방식은 세 가지로 안내됨
    • 저장소 코드 기여: 코드 기여를 받으며, 더 자세한 가이드는 추후 제공 예정임
    • 절차적 생성기 기여: infinigen/nodes/node_transpiler/dev_script.py가 artist-friendly Blender Nodes를 Python 코드로 변환하는 도구를 제공함
    • 사전 생성 데이터 기여: 누구나 컴퓨팅 파워로 데이터를 만들고 커뮤니티와 공유할 수 있으며, 사전 생성 데이터 저장소는 추후 제공 예정임
  • 도움 요청은 GitHub Issues 페이지에 올리도록 안내됨
  • 문제 재현을 위해 명령을 --debug로 실행하고 다음 정보를 포함해야 함
    • OS 버전, CPU, RAM, GPU, 드라이버를 포함한 컴퓨팅 환경
    • 사용한 코드 버전과 commit hash 링크, 수정 여부
    • 실행한 정확한 명령
    • 출력 로그
      • manage_jobs 사용 시 outputs/MYJOB/MYSEED/logs/에서 로그를 찾음
      • Python 오류와 stacktrace가 있으면 함께 제공함

기반 프로젝트와 변화

  • Infinigen은 Blender Foundation과 오픈소스 기여자들의 작업 없이는 가능하지 않았다고 밝힘
  • 사용 프로젝트로 Land-Lab, BlenderProc, Blender-FLIP-Fluids, Blender-Differential-Growth가 특별히 언급됨
  • Thomas Kole는 절차적 구름을 제공한 인물로 감사 대상에 포함됨
  • 여러 온라인 Blender 튜토리얼은 초기 실험용 절차적 생성기를 제공했고, 공식 릴리스 구현에 영감을 준 자료로 정리됨
  • Infinigen은 CVPR 논문 버전 이후 크게 변화했음
    • 현재는 인터넷에서 얻은 CC-0 라이선스 절차적 코드 일부를 포함함
    • 해당 코드는 적용되는 위치에 코드 주석으로 표시됨
    • CVPR 버전에는 그런 코드가 없었음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 정말 멋진 프로젝트임
    HN의 ML/AI 연구자들에게 궁금한데, 이걸 학습에 쓴 논문이 있는지 궁금함. 예를 들면 가상 환경에서 로봇을 훈련하는 식임
    요즘 ML/AI 분야에서 로봇 훈련에는 어떤 데이터셋이 쓰이는지도 궁금함

    • 영상에 따르면 “Infinigen은 100% 절차적 생성임. 수학 규칙만 사용하고, AI는 전혀 없으며, 그냥 그래픽”이라고 함
      타임스탬프: https://youtu.be/6tgspeI-GHY?t=107
    • Nvidia Research가 생성된 환경으로 로봇 등을 훈련하는 영상을 본 것 같음
      바로 찾지는 못하겠지만, Nvidia의 Omniverse가 핵심 요소 중 하나임

  • 이거 전에 올라오지 않았나? 멋진 건 맞지만 몇 년 된 프로젝트로 알고 있음. 업데이트가 있었는지 궁금함

  • 실내 장면은 완전히 그럴듯해 보이지만, 야외는 아직 아쉬운 점이 많음. 최첨단 수준과는 꽤 차이가 남

    • 그렇다면 오픈소스이고, 가능하면 라이브러리 형태로 쓸 수 있으며, 생성 AI가 아닌 최첨단은 뭐가 있나? 상호작용/게임 개발/실시간 사용 사례를 떠올리고 있음
    • No Man's Sky의 여러 버전보다도 뒤처져 있고, LLM 쪽 사람들이 만들고 있는 온갖 미친 결과물과 비교하면 더 그렇다 봄
    • 그래도 바닷물은 지금 어떤 비디오 게임보다 훨씬 나았다는 건 인정해야 함. 나머지는 그렇긴 함
    • 최첨단은 뭐라고 봐야 하나?

  • 이런 게 가능하다는 사실은 우주에 대해 뭔가 말해주는 느낌임. 우리가 생각하는 것만큼 환경에 정보량이 많지 않은지도 모름
    이건 뇌, 특히 동물의 작은 뇌가 세계를 모델링하고 그 안에서 작동하는 데 보이는 비합리적으로 높은 효율을 설명할 수도 있음

    • 그건 우주를 아주 피상적으로 보는 방식임
      존재는 관찰되는지 여부로 제한되지 않음. 뇌는 특정 환경에서 유기체를 살리는 데 필요한 최소한의 정보만 모으도록 진화했음. 하지만 우리가 지각할 수 있는 것들 안에도 우주에는 헤아릴 수 없는 복잡성이 있음
      3D 모델링에서는 그런 세부사항이 중요하지 않기 때문에 사진 같은 사실감에 접근할 수 있음. 렌더링은 뇌를 속여 실제 세계의 물체를 보는 것처럼 느끼게 할 만큼 충분히 좋아 보임. 하지만 시각적 측면의 좋은 근사일 뿐, 현실 물체를 제대로 표현한 것은 전혀 아님. 그 정도를 하기엔 계산 자원이 턱없이 부족함
      현실 세계에서 빛이 어떻게 행동하는지 실시간으로 모델링할 수 있게 된 것도 최근이고, 그마저도 근사임. 어쨌든 Infinigen은 멋진 제품으로 보이고, 오랜만에 AI가 아니라 고전적 시뮬레이션을 보는 것도 좋음
    • “이런 게 가능하다는 사실이 우주에 대해 뭔가 말해준다”면, Final Fantasy 7의 캐릭터 모델도 인간 내분비계에 대해 뭔가 말해주는 셈임
      Aeris는 부신이 보이지 않아도 분명 인간처럼 읽히니, 현실에도 부신이 없을지 모른다는 식임
    • “지도는 영토가 아니다”
    • “바닥에는 아직도 많은 공간이 있다.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • 우주보다는 인간의 뇌에 대해 더 많은 걸 보여준다고 봄. 우리의 지각이 얼마나 쉽게 속는지 말해줌

  • README만 봐서는 불분명한데, 여기서 무한이라는 게 한 장면의 무한한 변형을 만들 수 있다는 뜻인지, 아니면 무한한 세계를 생성한다는 뜻인지 모르겠음

  • 이전 글: https://news.ycombinator.com/item?id=36373494

  • 공유될 때 메타 태그 설명이 placeholder 내용으로 보이니 업데이트해야 함

  • 저자 목록에 중국의 주요 대학들이 여럿 보이는데, 일견 칩 제재/수출 규정 위반을 의미하는 것 아닌가?

    • 논문에는 공동 저자들이 Princeton 소속일 때 연구를 했다고 나와 있음

  • Matrix 같은 도입부가 전혀 미묘하지 않음

답변달기