Zero-1-to-3: 디퓨젼 모델을 이용하여 한장의 이미지로 3D 객체 만들기

• 대규모 디퓨전 모델을 이용하여 한장의 RGB 이미지에서 카메라 시점을 조절하는 프레임워크
• 합성 데이터셋으로 학습된 모델이지만, 실제 이미지나 인상주의 회화등에도 사전 학습 없이 Zero-shot 으로 잘 동작
• 이 시점을 조절하는 디퓨전 방식을 이용하여, 한장의 이미지에서 3D를 재구성하는 작업도 가능
• 인터넷 규모의 사전 학습을 통해서 다른 모델보다 훨씬 뛰어난 성능을 제공한다는 정성적/정량적 실험결과가 나왔음

[wedding]

작년까지만 해도 아직 멀었다고 생각 했는데,
요새는 하루 걸러 하나씩 새로운 기술과 결과들이 가오네요..