GN⁺: RealFill: 확산 모델을 사용한 이미지 완성
(realfill.github.io)- 구글 리서치 및 코넬 대학이 개발한 이미지 완성을 위한 새로운 생성적 접근법
- RealFill은 이미지의 누락된 부분을 원래 있어야 할 내용으로 채워 더욱 진정한 이미지를 만드는 것을 목표로 함
- 모델은 대상 이미지와 일치하지 않아도 되며, 시점, 조명 조건, 카메라 조리개 또는 이미지 스타일에서 다양할 수 있는 몇 가지 참조 이미지를 사용하여 개인화됨
- RealFill은 다양하고 도전적인 시나리오를 다루는 새로운 이미지 완성 벤치마크에서 기존 접근법을 크게 앞섬
- 이 과정은 참조 및 대상 이미지에 대해 사전 훈련된 inpainting diffusion 모델을 미세 조정하는 것을 포함하며, 이는 입력 이미지의 장면에 대한 내용, 조명, 스타일을 학습함
- 미세 조정된 모델은 그 후 표준 확산 샘플링 과정을 통해 대상 이미지의 누락된 영역을 채우는 데 사용됨
- RealFill은 참조와 대상 사이에 큰 차이가 있어도 원래 장면에 충실하고 시각적으로 매력적인 고품질 이미지를 생성함
- RealFill의 한계는 상대적으로 느린 기울기 기반의 미세 조정 과정과 참조와 대상 이미지 사이의 시점 변화가 매우 클 때 3D 장면을 복구하는 데 어려움이 있음
- RealFill은 Stable Diffusion과 같은 기본 사전 훈련 모델에 대해 도전적인 경우에도 어려움을 겪음
Hacker News 의견
- 'RealFill'에 대한 기사, 확산 모델을 사용한 이미지 완성 도구
- 현재와 과거에 찍은 사진을 향상시키는 데 잠재적 가치가 있는 도구
- RealFill, 유사한 사진들을 하나의 우수한 이미지로 합성하여 개선 가능
- 소셜 미디어 게시물을 위한 인공 이미지 생성, 매력과 즐거움 향상 가능한 도구
- RealFill, 영화와 TV의 유용한 후반 작업 도구, "uncropping" 및 4:3을 와이드스크린으로 변환하는 유연성 제공
- 홀로그래픽 카메라 배열에서 저렴한 핀홀 카메라의 문제를 수정하는 데 사용 가능한 도구
- RealFill, 누군가가 실수로 잘린 가족 사진을 수정하는 데 사용 가능
- AI 기반 디지털 줌 아웃 기능, 렌즈나 거리에 구애받지 않고 확대된 사진을 만드는 도구
- 데모에서 "진정한"과 "회복"이라는 용어의 사용에 대한 우려, 결과 이미지는 진정한 또는 회복된 것이 아니라 환상
- Pixel 폰을 더 매력적으로 만들 수 있는 도구, 마법 지우개와 "진정한 이미지 완성" 기능과 같은 기능
- 최근 몇 년 동안 AI의 발전은 인상적, RealFill과 같은 도구는 중요한 발전 단계를 나타냄
- 일부 댓글 작성자들은 실제감의 환상을 만드는 AI 사용의 함의에 대해 우려를 표현
- 도구의 기능은 GoPro 카메라가 셀피 스틱을 제거하는 것과 비교, 인접한 프레임을 사용하여 픽셀 채우기