Zero-1-to-3: 디퓨젼 모델을 이용하여 한장의 이미지로 3D 객체 만들기
(zero123.cs.columbia.edu)- 대규모 디퓨전 모델을 이용하여 한장의 RGB 이미지에서 카메라 시점을 조절하는 프레임워크
- 합성 데이터셋으로 학습된 모델이지만, 실제 이미지나 인상주의 회화등에도 사전 학습 없이 Zero-shot 으로 잘 동작
- 이 시점을 조절하는 디퓨전 방식을 이용하여, 한장의 이미지에서 3D를 재구성하는 작업도 가능
- 인터넷 규모의 사전 학습을 통해서 다른 모델보다 훨씬 뛰어난 성능을 제공한다는 정성적/정량적 실험결과가 나왔음