GN⁺: 월드 랩스: 단일 이미지로 3D 세계 생성 기술

• 3D 세계 생성 AI 시스템

  • World Labs는 단일 이미지에서 3D 세계를 생성하는 AI 시스템을 개발함.
  • 이 기술은 영화, 게임, 시뮬레이터 등 다양한 디지털 콘텐츠 제작 방식을 혁신할 가능성을 가짐.

• 세계 탐험

  • 사용자는 생성된 3D 세계를 탐험할 수 있으며, 화살표 키나 WASD 키를 사용하여 이동하고 마우스로 시점을 조정할 수 있음.

• 카메라 효과

  • 가상 카메라를 통해 장면을 실시간으로 렌더링하며, 얕은 심도 효과나 돌리 줌 같은 사진 효과를 구현할 수 있음.

• 3D 효과

  • 3D 장면 예측은 지속적인 현실감, 실시간 제어, 올바른 기하학적 구조를 제공함.
  • 깊이 맵을 통해 각 픽셀의 카메라와의 거리를 시각화할 수 있음.

• 그림 속으로 들어가기

  • 유명한 예술 작품을 새로운 방식으로 경험할 수 있도록 세계를 생성함.
  • 원본 그림에 없는 부분은 모델이 생성함.

• 창의적 워크플로우

  • 3D 세계 생성은 다른 AI 도구와 자연스럽게 결합되어 새로운 경험을 창출함.
  • 텍스트-이미지 모델을 사용하여 텍스트로부터 이미지를 생성하고, 이를 기반으로 3D 세계를 만듦.

• 미래 전망

  • World Labs는 3D 세계의 크기와 충실도를 개선하고, 사용자와의 상호작용 방식을 실험 중임.
  • 향후 릴리스에 대한 정보는 대기자 명단을 통해 확인 가능하며, 관심 있는 사람은 참여를 권장함.

[neo]

Hacker News 의견

• 데모를 시도해보면, 애니메이션 이미지가 오해를 불러일으킴. 몇 걸음 걷다 보면 보이지 않는 벽에 부딪히게 되어 실망스러움이 큼. 초기 단계라는 것을 이해하지만 과대 광고된 느낌이 있음

• VR 헤드셋으로 3D 영화를 볼 때 머리를 움직이면 3D 환상이 깨짐. 3D 게임에서는 머리를 움직이면 공간을 탐색할 수 있음. 영화의 모든 프레임에 이를 적용하면 약간의 움직임과 시점 변화를 유지할 수 있음. 하지만 감독과 촬영 감독의 의도가 손상될 수 있음

• 작은 영역에 대한 불만이 있지만, 이미지를 3D 세계로 변환한 것은 놀라운 기술임. AI가 점점 일반화되고 있지만, 여전히 놀라운 성과임

• Depth Anywhere를 사용하여 360º 이미지를 가상 깊이 맵으로 변환하고, 이를 포인트 클라우드에 적용하여 렌더링하는 방법이 있음. World Lab 예제와 달리 포인트 클라우드의 경계를 넘어 접근 방식의 결함을 검사할 수 있음. 여전히 개선이 필요함

• 이 기술은 멋지지만, cat-4d.github.io만큼 인상적이지 않음

• AI 데모를 많이 봐서 그런지, 기술을 실제로 유용하게 만드는 방법을 생각해내야 한다는 점에서 다소 무감각해짐. "Step into Paintings" 섹션은 재미있었지만, 소스 자료에서 벗어나면 모델의 한계가 드러남. 새로운 방식으로 예술 작품을 경험할 수 있지만, 좋은 경험은 아님

• XYZ가 Unreal과 NVIDIA Isaac 녹화를 일반화할 수 있을 것이라는 기대가 있음. XYZ가 diffusion-transformers인지, Chameleon인지, 아니면 새로운 아키텍처인지 궁금함. 모델 개발에는 시간이 걸리며, 비용이 많이 들 수 있음. 이 팀은 매우 재능 있지만, 충분한 자금이 없을 수도 있음

• 이러한 프로젝트의 좋은 점이 과도한 주장으로 인해 흐려지는 경우가 많음

• 기본 이미지는 렌더링된 것으로 보이며, 조명, 그림자 등이 포함됨. 다른 도구를 사용했을 때는 예제 이미지에서만 잘 작동하고, 다른 이미지를 사용하면 검고 평평한 형태가 나옴. 따라서 헤드라인은 "우리가 훈련한 모델로 단일 이미지에서 3D 세계 생성"이 되어야 함

• 처음 시도했을 때 "Out of bounds" 메시지를 받아 놀랐음. "Looking Ahead" 섹션을 보니 크기와 정확도를 개선하고 있음