Show GN: Training-Free Video Editing Open-Source

훈련 없이 (training-free), 자유롭게 video editing을 할 수 있도록 방법 및 코드를 모두 오픈소스(open-source)로 공유함.🌱

• Video Editing: Input video에서 user가 원하는 것을 text prompt로 추가하여 video를 생성하는 것을 말함. (즉, input과 output video간의 일관성이 중요)
• Training-Free Video Editing: 훈련없이, inference 과정에서 diffusion 모델 내의 latent vector를 조작(?)하여 user가 원하는 text prompt로 video가 생성될 수 있도록 유도함.🐬

최근 video generation에서 떠오르는 WAN2.1-T2V-1.3B 모델을 기반으로 video-editing을 할 수 있도록 코드를 제작함.🔮

• Image Editing에서 활용되던 training-free methods를 WAN2.1에 적용함.
  • FlowEdit & FlowAlign

더 나아가, 필자는 WANAlign2.1🌠 이라는 방법을 제안함.🛠️

• Attention map에서 editing할 영역만 masking처리를 하여, input video와 일관성을 더욱 향상시킨 방법임.

🌟🌟자유롭게 이용하길 바라며, 흥미가 있었다면 별도 눌러줘🌟🌟!!