다중 시점 시각 착각 생성: 확산 모델을 이용한 연구
- 미시간 대학교의 Daniel Geng, Inbum Park, Andrew Owens가 확산 모델을 이용해 다중 시점의 시각 착각을 생성하는 새로운 방법을 제시함.
- 이 방법은 이미지가 변형될 때 다른 모습이나 정체성으로 보이는 이미지를 생성하는 것으로, 회전, 뒤집기, 색상 반전, 기울기, 직소 퍼즐 재배열, 무작위 순열 등 다양한 변환을 지원함.
- 이 연구는 이론적으로뿐만 아니라 실제 예시를 통해 방법의 유효성을 입증함.
방법론
- 사용된 방법은 개념적으로 간단하며, 시중에 나와 있는 확산 모델을 사용하여 이미지의 다양한 뷰 또는 변환에서의 노이즈를 추정함.
- 추정된 노이즈는 역 뷰를 적용하여 정렬되고 평균화된 후, 이 평균화된 노이즈 추정치를 사용하여 확산 단계를 진행함.
뷰에 대한 조건
- 모든 뷰 함수가 위의 방법과 호환되는 것은 아니며, 뷰 함수는 반드시 가역적이어야 함.
- 뷰 함수가 신호와 노이즈 사이의 가중치를 유지하려면 선형성을 가져야 하며, 이는 선형 변환을 나타내는 정사각 행렬 A를 통해 달성될 수 있음.
- 확산 모델은 노이즈가 표준 정규 분포에서 독립적으로 동일하게 추출된다고 가정하므로, 변환된 노이즈도 이러한 통계를 따라야 함.
- 선형 변환의 경우, 이는 A가 직교 행렬이어야 한다는 조건과 동일함.
직교 변환
- 대부분의 직교 변환은 시각적으로 의미가 없으나, 순열 행렬은 직교 행렬의 부분 집합이며 이미지 내 픽셀의 재배열로 해석될 수 있음.
- 이 연구에서 제시된 대부분의 착각은 픽셀의 특정 재배열, 예를 들어 회전, 뒤집기, 기울기, "내부 회전", 직소 퍼즐 재배열, 패치 순열 등으로 해석될 수 있음.
- 색상 반전은 순열은 아니지만 픽셀 값의 부정으로서 직교 변환임.
GN⁺의 의견
- 이 연구는 이미지 변환을 통해 다양한 시각 착각을 생성하는 새로운 방법을 제시함으로써, 인공 지능 기술과 예술의 경계를 확장하는 데 기여함.
- 특히, 이미지의 픽셀을 재배열하여 다양한 시각적 효과를 만들어내는 방법은 창의적이며, 이를 통해 새로운 형태의 예술 작품 생성이 가능해질 것으로 기대됨.
- 이 글이 흥미로운 이유는 기존의 확산 모델을 활용하여 시각 착각을 만드는 독창적인 접근 방식을 탐구했기 때문이며, 이는 초급 소프트웨어 엔지니어들에게도 새로운 영감을 줄 수 있는 연구임.