월드 랩스: 단일 이미지로 3D 세계 생성 기술

• World Labs의 Research & Insights 페이지는 공간 지능(spatial intelligence) 과 월드 모델 연구 업데이트를 모아, 2024년부터 2026년까지의 흐름을 한곳에서 보여줌
• 연구 항목은 월드 모델의 기능적 분류, 3D Gaussian Splatting 스트리밍, 3D as code, World API, Marble, RTFM, 더 큰 3D 세계 생성으로 이어짐
• World API는 텍스트, 이미지, 비디오에서 탐색 가능한 3D 세계를 생성하는 공개 API이며, Marble의 월드 모델링 기능을 애플리케이션으로 가져오는 역할을 함
• Marble은 멀티모달 월드 모델, RTFM은 상호작용 중 실시간 비디오를 생성하는 연구 프리뷰로 배치되어 World Labs의 생성형 세계 모델 방향을 보여줌
• 뉴스와 발표는 2026년 신규 펀딩, Content 3.0, 공간 지능 기반 경험, 3D 공간을 이해하고 상호작용하는 AI라는 큰 주제로 묶임

---

Research & Insights가 모으는 주제

• World Labs 팀의 업데이트와 뉴스가 모인 페이지로, 중심축은 공간 지능과 월드 모델임
• 페이지는 연구 업데이트와 뉴스 항목을 나누어 보여줌

월드 모델 연구 업데이트

• A Functional Taxonomy of World Models
  • 월드 모델을 렌더러, 시뮬레이터, 플래너, 그리고 이를 연결하는 루프로 나누어 기능적으로 분류함
• Streaming 3DGS worlds on the web
  • Spark 2.0의 스트리밍 가능한 Level-of-Detail 시스템을 기술적으로 다룸
  • 대상 기술은 3D Gaussian Splatting임
• 3D as code
  • 텍스트가 소프트웨어의 보편 인터페이스가 된 것처럼, 3D가 공간의 보편 인터페이스가 되는 흐름을 다룸
  • 3D는 인간과 AI 시스템이 세계를 생성, 편집, 시뮬레이션, 공유하는 매체로 제시됨
• Announcing the World API
  • 텍스트, 이미지, 비디오에서 탐색 가능한 3D 세계를 생성하는 공개 API를 발표함
  • Marble의 월드 모델링 기능을 애플리케이션에 가져오는 API임
• Marble: A Multimodal World Model
  • Marble은 World Labs의 frontier 멀티모달 월드 모델임
  • 해당 항목에는 Marble이 모두에게 제공되기 시작했다는 내용이 포함됨
• From Words to Worlds: Spatial Intelligence is AI’s Next Frontier
  • 공간 지능의 정의, 중요성, 월드 모델 구축 방향을 다루는 manifesto 성격의 글임
  • 창작, embodied intelligence, human progress에 영향을 줄 수 있는 기술로 다룸
• RTFM: A Real-Time Frame Model
  • RTFM은 사용자가 상호작용하는 동안 실시간으로 비디오를 생성하는 생성형 월드 모델 연구 프리뷰임
• Generating Bigger and Better Worlds
  • 더 크고 자세한 환경과 향상된 fidelity를 갖춘 3D 세계 생성 진전을 발표함
• Generating Worlds
  • 브라우저에서 탐색할 수 있는 persistent, navigable 3D 세계를 향한 초기 진행 상황을 공유함

뉴스와 공개 발표

• World Labs Announces New Funding
  • 2026년 공간 지능 비전에 관한 신규 펀딩 업데이트임
• Content 3.0 in the GenAI Era
  • 생성형 AI가 동적으로 변화하는 캐릭터와 세계를 가진 새로운 매체로 이어지는 흐름을 다룸
  • 스토리텔링과 디지털 콘텐츠의 미래와 연결됨
• A New Frontier
  • AI의 다음 frontier를 공간적이고 월드 모델 기반인 경험으로 다룸
  • 창작자와 개발자에게 가능한 것을 소개함
• With Spatial Intelligence, AI Will Understand the Real World
  • 공간 지능은 AI가 3D 공간을 인식하고, 추론하고, 그 안에서 행동하는 능력임
  • 기계가 물리 세계를 이해하고 상호작용하게 하는 방향을 다룸

[GN⁺]

Hacker News 의견들

• 데모를 직접 해보면 상단의 애니메이션 이미지가 오해를 부르는 느낌이 듦
  각 장면이 딱 “이 거대한 세계를 계속 탐험할 수 있겠다” 싶은 지점에서 끊기지만, 실제로는 몇 걸음 못 가 보이지 않는 벽에 막혀서 아예 못 움직이는 것보다 더 답답함
  박스 안에 갇힌 듯했고, 인상적이라는 느낌이 빠르게 실망으로 바뀜. 초기 단계인 건 이해하지만 너무 과장해서 보여줬다고 봄

  • let t = JSON.parse(d[e].config_str) 다음에 JavaScript 중단점을 걸고 콘솔에서 Object.values(t.camera.presets).map(o=>o.max_distance=50&&o)를 실행하면 "Out of bound" 메시지를 우회할 수 있음
    다만 기본 경계 밖으로 나가면 예상대로 꽤 빨리 무너짐
  • 나도 처음엔 이 제한이 좀 짜증났지만, 곧 Myst가 떠올랐음
    그래서 이 한계는 받아들일 수 있고, 앞으로 좋아질 수밖에 없다는 점도 분명해 보임. 다음으로는 Nvidia가 완전 AI 기반 게임 엔진, 혹은 렌더러에 가까운 것을 내놓을 가능성을 생각하게 됐고, 10년 안에는 일어날 만하다고 봄
    글에 나온 장면처럼 장면을 묘사해 게임을 만들고, 장면 사이를 좋은 변형 기술로 이어서 전환 구간도 자동 생성된 플레이 가능한 장면이 되는 식을 상상할 수 있음
    글의 물결, 음파 탐지, 파도 같은 효과도 흥미로웠고, 특히 파도는 지난달 공개된 Subnautica 영상 [0]의 더 극단적인 버전처럼 앞으로 게임이 얼마나 몽환적으로 변할 수 있을지 떠올리게 했음
    오늘날에는 Far Cry 같은 게임에서 플레이어가 중독됐을 때의 셰이더 효과 정도로 겨우 가능한 환각 상태를, 주기적으로 게임 전체에 생성할 수도 있겠다는 생각이 듦
    Fiebertraum 엔진
    [0] https://www.youtube.com/watch?v=AJaV92DXN0s&t=218s
  • 글의 “Looking Ahead” 섹션에 “생성되는 세계의 크기와 충실도를 개선하기 위해 열심히 작업 중”이라고 되어 있음
    입력 이미지에서 멀어질수록 모델이 더 많은 정보를 꾸며내야 하고, 일관성을 유지하기도 더 어려워질 것 같음. 동영상 생성과 비슷한 문제로 보임
  • 이 프로젝트와 전혀 무관한 입장에서 보자면, 장면 크기를 키우면서 어느 정도 일관성을 유지하는 건 그렇게 어렵지 않을 것 같음
    이 분야 경쟁자인 cat-4d.github.io를 예로 들면, “How it works” 섹션에서 첫 단계는 입력 동영상을 받아 같은 동작을 다른 카메라에서 본 것처럼 인공 시점을 만드는 것임. 두 번째 단계에서는 그 시점들을 하나의 4D Gaussian Splatting 장면으로 합침. 이 두 번째 단계는 데이터 형식만 다를 뿐 4D NeRF 학습과 꽤 비슷함
    작은 장면이 필요하면 가까운 카메라 위치 몇 개를 생성하면 되지만, 다른 카메라 위치를 더 만들거나 이미 생성한 카메라 위치에서 다시 카메라를 움직여 AI가 만들어낸 세부 정보를 바깥으로 전파하는 것도 가능함
    즉 지도의 중심에는 “실제”에 가까운 것을 두고, 그 주변 원형으로 서로 다른 카메라 위치의 AI 가짜 장면을 만들고, 그 1세대 가짜 바깥에 또 다음 원을 만드는 식으로 상상할 수 있음
    이 과정의 한계는 주로 두 가지임. 하나는 AI 모델이 전체 주제를 얼마나 잘 포착하느냐인데, World Labs는 이 데모에서 주제에 맞는 세부 정보를 만들어낼 수 있음을 보였으니 어느 정도 해결했다고 봄. 다른 하나는 계산 시간임
    각 방향으로 2배 큰 월드 박스는 복셀 데이터가 8배가 되고, GSplats/NeRF를 맞추려면 입력 이미지 수도 16~32배쯤 필요해도 놀랍지 않음
    그래서 박스 제한은 아마 AI 모델이 느리고 실행 비용이 비싸서, 박스를 10배 키우는 데 10,000배 자원을 쓰고 싶지 않았기 때문일 가능성이 큼
  • 경계 근처 위치의 이미지를 다시 입력으로 삼아 새 3D 세계를 만들고, 그 과정을 계속 반복할 수도 있을 것 같음

• VR 헤드셋으로 3D 영화를 볼 때는 머리를 완전히 고정해야 하고, 시차가 없으면 3D 착시가 깨짐
  반면 3D 게임에서는 머리를 움직이면 실제로 공간을 이동하고 물체 주변을 둘러볼 수 있음
  이런 기술을 영화의 모든 프레임에 적용하면 조금 움직이면서도 시점 변화를 유지할 수 있을 것 같고, 어느 방향으로든 약 4피트만 움직일 수 있다는 제한은 이 용도에서는 큰 문제가 아닐 것임
  물론 감독과 촬영감독의 의도를 희생하게 되며, 그건 결코 작은 문제가 아님

  • Google Lightfields 데모를 본 적이 있는지 궁금함
    VR에서 입체 효과를 내면서도 비디오의 “부피”를 캡처하는 장비를 만들었고, 사용자의 정확한 머리 위치에 따라 캡처한 영상 조합을 다르게 보여줘 왜곡을 보정했음
    정말 숨이 막힐 정도였고, 공간 안에 실제로 들어와 있다는 느낌을 준 첫 VR 경험이었음. 꽤 오래전 일이어서 이런 콘텐츠가 훨씬 많이 나올 줄 알았는데, 결과적으로는 완전히 틀린 예상이었던 듯함
    고정된 시점은 인간의 뇌가 익숙한 미세한 움직임을 속이기 어렵기 때문에, Apple의 훌륭한 AVP용 입체 3D 단편도 그 잠재력을 바로 잃어버림
  • Microsoft Kinect 같은 깊이 감지 카메라와 함께 촬영하면 가능할 것 같음
    후반 작업에서 각 픽셀이 카메라에서 대략 얼마나 떨어져 있는지 알 수 있고, 그 정보가 3D 장면 재구성에 도움이 될 수 있음
    어쩌면 현대 영화 카메라들이 촬영 중 기록하는 조리개와 초점 거리만으로도 가능할지 모름
  • 3D와 몰입형 비디오에 미래가 있다면, 단순한 양안 입체 말고 더 많은 단서를 추가하는 데 달려 있음
    시차 부족은 많은 사람에게 불편함을 주는 주요 원인 중 하나임

• 작은 영역이라고 불평하는 건 좀 웃김. AI가 점점 익숙해지고 있다지만, 이미지 하나를 3D 세계로 바꾼 것 자체가 말도 안 되게 대단함
  설령 1피트×1피트뿐이어도 여전히 놀랍다고 봄

  • 문제는 너무 과장해서 판다는 데 있음. 이건 세계라기보다는 좋게 봐도 3D 이미지임

• 내 프로젝트는 아니지만, 최근 공개된 다른 접근법은 Depth Anywhere로 주어진 360º 정방형 이미지를 위한 가상 깊이 지도를 만들고, 이를 포인트 클라우드에 적용해 three.js / A-Frame으로 렌더링함
  2D에서 장면 깊이를 만드는 능력은 원문 프로젝트와 비슷해 보이지만, 렌더링에 Gaussian Splatting 대신 포인트 클라우드를 써서 더 픽셀화되어 보임
  https://github.com/akbartus/360-Depth-in-WebXR
  또 World Lab 예제와 달리 포인트 클라우드 경계 밖으로 더 나가서 이 접근법의 결함을 직접 확인할 수 있음. 점점 가까워지고는 있지만 아직 개선이 필요함

• 멋지긴 하지만, 개인적으로는 https://cat-4d.github.io/만큼 인상적이진 않음

  • 이 방식도 풍경 같은 매크로 샷에 동작하는지 궁금함. 예시들은 전부 특정 물체에 집중되어 있음

• 신기하긴 하지만, 또 하나의 AI 데모를 보며 “이 기술을 실제로 어디에 쓸지”는 보는 사람이 빈칸을 채워야 하는 상황에 좀 무덤덤해진 듯함
  “Step into Paintings” 섹션은 웃겼음. 원본 소재에서 조금만 벗어나면 모델의 이상함이 그대로 드러남. 유명 예술 작품을 새로운 방식으로 경험할 수는 있겠지만, 좋은 경험은 아님

  • Hopper의 Nighthawks 프레임 밖에 성경적으로 정확한 테이블과 의자가 있을 줄은 몰랐음

• 이들의 베팅은 XYZ가 Unreal과 NVIDIA Isaac 녹화에서 일반화할 수 있다는 것임
  여기서 XYZ가 확산 트랜스포머인지, Chameleon인지, 아니면 새로운 구조인지가 관건임
  가장 빠른 팀들도 모델 첫 버전을 만드는 데 7개월은 걸리는 것 같고, 모델은 아기와 같아서 엄마 9명이 있다고 1개월 만에 나오지는 않는 듯함
  어려운 점은 DiT로 훌륭한 동영상 모델을 2억 2천만 달러에 만들 수 있을 수도 있고, Chameleon으로 10억 달러에 만들 수 있을 수도 있지만, 여기에 3D와 시간이 더해지면 비용이 감당 가능한가 하는 부분임
  가장 이상한 점은 이들이 엄청난 인재들이지만, 그래도 돈이 충분하지 않을 수 있다는 것임

  • 그러면 이 기업가치가 말이 되려면 게임 스튜디오 같은 곳에 이런 세계를 수십억 달러어치 팔아야 함
    주요 게임 스튜디오 대부분을 설득해서 세계 제작 예산을 전부 이 회사에 쓰게 해야 한다는 뜻인데, 비현실적으로 보임. 물론 시간만이 답을 알려줄 것임

• 이런 프로젝트가 만들어내는 장점 상당수가 과도하게 야심 찬 주장 때문에 흐려지는 느낌임

  • 그 과도하게 야심 찬 주장 덕분에 제품도 없이 2억 3천만 달러 이상을 투자받을 수 있었음
    Fei-Fei Li는 이 분야의 거물이고, 이 공간에서 최고 수준 연구자들로 뛰어난 팀을 꾸렸음
    이들의 도박은 공개 연구와 그 연구를 제품화하려는 다른 회사들보다 더 빠르게 움직일 수 있느냐에 달려 있음
    이게 ElevenLabs처럼 될지, Character.ai처럼 사그라질지는 시간이 알려줄 것임
    걱정되는 건 제품이 없으면 시장 수요를 만족시키는 방향이 아니라 멋진 연구 문제에 자원을 잘못 투자할 수 있다는 점임. 고객이라는 북극성만 한 것이 없음. 또한 이 기업가치로는 앞으로 채용도 쉽지 않을 것임
    공개 연구와 모델 시장은 3D에서 멋진 것들을 많이 만들어내고 있지만, HuggingFace 등이 시도하고 있음에도 아직 공개 데이터 풀은 없음
    어떻게 될지는 지켜봐야 함

• 처음 써봤을 때 “Out of bounds” 메시지가 나와서 조금 놀랐음. 3D 세계라면 기대하던 반응은 아니었음
  아래의 “Looking Ahead” 섹션을 보니 크기와 충실도를 모두 개선 중이라고 되어 있음

• 2D 이미지가 정말 3D 세계 구축에 가장 좋은 입력 기본 단위인지 의문임
  사용자 입장에서는 세계를 만들 때 평면, 구, 메시 같은 3D 기본 도형을 도구로 쓰는 편이 더 좋겠음