- Google 연구자들이 개발한 장면 동적성에 대한 이미지 공간 우선 모델링의 새로운 접근법에 대한 기사
- 자연스러운 진동 운동을 포함하는 실제 비디오 시퀀스에서 추출된 운동 궤적을 사용하여 모델 훈련
- 모델은 주파수 조정된 확산 샘플링 과정을 사용하여 푸리에 도메인에서 픽셀 당 장기 운동 표현을 예측, 이를 신경 스토캐스틱 운동 텍스처라고 함
- 이 표현은 전체 비디오를 아우르는 밀집 운동 궤적으로 변환 가능
- 모델은 정적 이미지를 원활하게 반복되는 동적 비디오로 변환하거나 사용자가 실제 사진의 객체와 현실적으로 상호 작용할 수 있게 하는 등 다양한 응용 프로그램에 사용 가능
- 모델은 상호작용하는 사용자의 흥분에 대한 객체 동적성의 반응을 시뮬레이션 가능
- 운동 텍스처의 진폭을 조정하여 움직이는 동작을 축소하거나 확대 가능
- 예측된 운동 텍스처를 보간하여 슬로우 모션 비디오 생성 가능
- 연구자들은 Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo, Lucy Chai의 교정, 코멘트, 토론에 대한 기여를 인정
- 시연에 사용된 웹사이트는 nerfies에서 빌려온 것으로, Keunhong에게 감사의 말 전달