rPPG - DeepFake 합성 영상을 분간하는 참신한 방법
(venturebeat.com)급격히 발달한 DeepFake 기술은 엔터테인먼트 산업에 굉장한 도움이 될 수도 있지만, 가짜뉴스의 심각성을 더욱 높이는 문제를 일으킬 수도 있습니다. 그래서 이러한 DeepFake를 분간하는 기술을 확보하는 것은 중요한 의미가 있습니다.
다가오는 미국 대선에서 가짜뉴스를 막기 위한 MS의 노력:
https://news.hada.io/topic?id=2767
DeepFake 영상을 분간하는 참신한 방법이 소개된 기사를 공유합니다. (영어) 이 방법은 사람의 얼굴에서 추출한 심장박동 신호를 바탕으로 진짜 사람의 얼굴과 DeepFake를 분간합니다.
병원의 비침습형 산소포화도 측정장비나 이제는 꽤 흔해진 스마트워치 등에서 인간의 심장박동수를 재는 방법을 전문용어로 PPG(Photoplethysmography, 광혈류측정)라고 합니다. 인간의 신체에 빛을 비추면 그 빛이 흡수되는데, 이때 흡수되는 정도는 그 빛이 지나가는 경로에 있는 피부, 조직, 혈액의 부피에 비례합니다. 그런데 피부나 조직의 부피는 급격히 바뀔 일이 없지만, 특정한 위치의 혈관 속 혈액의 부피는 심장이 수축할 때는 늘어나고 심장이 이완하면 줄어듭니다. 그래서 빛이 흡수되는 패턴을 그래프로 그려, 피크 수치의 간격을 재기만 하면 그게 바로 심박수가 됩니다. 생각보다 간단하지요.
rPPG(Remote photoplethysmography, 원격 광혈류측정)는 여기서 한발 더 나아갑니다. 인간이나 카메라가 사물을 볼 수 있는 것은 어딘가에서 나온 빛이 사물에 반사되어 눈이나 카메라에 들어오기 때문입니다. 그런데 위에서 언급한 PPG의 원리를 생각하면, 살아있는 인간의 얼굴 같은 신체 부위에서 반사되어 들어오는 빛에는 아주 희미하긴 하지만 분명히 맥박 패턴을 반영한 변화가 숨어 있다고 볼 수 있습니다. 이 희미한 변화를 고도로 증폭하여 별다른 측정도구나 접촉 없이도 카메라로 찍은 얼굴 동영상만으로 심박수를 재는 것을 rPPG라고 합니다. 이 방법은 극히 미세한 얼굴빛 변화에 의존하지만, 근래의 딥 러닝을 적용한 rPPG 시스템은 압축률이 꽤 높은 얼굴 동영상에서도 이런 변화를 추출할 수 있는 것으로 알려져 있습니다.
그렇다면, 이러한 방식으로 생체 신호를 추출하면 진짜 사람의 얼굴과 DeepFake로 만들어진 얼굴을 분간할 수도 있지 않을까요? 그래서 최신 rPPG 기법을 바탕으로 DeepFake 얼굴 영상을 가려내는 실험을 한 결과에 관한 논문들이 최근 발표되었습니다. 간단히 말해서, 실제 사람의 얼굴과 DeepFake로 만들어낸 사람 얼굴에서 나타나는 rPPG 신호는 패턴이 확연히 다르며, DeepFake에 사용한 모델 종류에 따라서 추출되는 rPPG 신호 패턴도 다릅니다. 따라서 이러한 방법으로 DeepFake 영상을 분간해낼 수 있었을 뿐만 아니라, 구체적으로 어떤 모델이 사용되었는지도 상당히 높은 정확도로 알아낼 수 있었다고 합니다.
해당 논문들의 원문:
https://arxiv.org/abs/2006.07634
https://arxiv.org/abs/2008.11363
서로 경쟁하며 학습하는 창과 방패라니 GAN이 생각나내요.
새로운 인공지능 기술 GAN - https://samsungsds.com/global/ko/…