20P by GN⁺ 4일전 | ★ favorite | 댓글 3개
  • 유튜버 Jeff Geerling이 픽셀 처리한 폴더 이미지의 내용을 복원할 수 있는지 실험하며 50달러 보상 제안
  • 하루도 안 돼서 3명의 참가자가 서로 다른 방식으로 픽셀 제거에 성공
  • GitHub 사용자 KoKuToru가 실제로 사용한 딥러닝 및 영상 누적 기술을 포함한 전체 리포지토리를 공개함
  • 움직이는 영상의 픽셀 블러링은 AI 기술의 발전으로 복원이 매우 쉬워짐
  • 민감한 정보 보호를 위해선 픽셀 처리보다 단색 마스킹 같은 방법이 더 안전하다는 결론

픽셀 제거 영상 실험 배경

  • Jeff Geerling은 자신의 유튜브 영상에서 4:57 지점부터 픽셀 처리된 폴더 내용을 보여주며 "복원하면 보상"이라는 메시지를 삽입함
  • 영상에서 픽셀 처리된 내용이 무엇인지 맞히면 50달러 지급 조건을 제시함
  • 24시간도 안 되어 3명이 성공했고, 각자 약간씩 다른 방식으로 접근함

어떻게 복원했나?

  • 세 명 모두 복원 과정을 기꺼이 공유함 — 리버스 엔지니어링을 즐기는 사람들 사이에서 흔한 문화
  • GitHub 사용자 KoKuToru전체 리포지토리를 공개함

첫 번째 시도: 브루트 포스 방식

  • 윈도우 프레임 안에서 일치하는 영역을 수집해 픽셀 데이터를 누적함
  • TensorFlow를 이용하여 다수의 프레임으로부터 정보를 모아 거의 판독 가능한 이미지를 생성
  • 수작업으로 영역을 지정해 다소 얼룩진 결과가 나옴

두 번째 시도: 자동화된 프레임 추출 + GIMP 보정

  • GIMP와 ffmpeg를 사용하여 정확한 윈도우 프레임을 자동 감지
  • 더 많은 프레임을 활용해 완전히 판독 가능한 이미지를 얻음

방지할 방법은?

  • 픽셀 처리나 블러링만으로는 영상 내 움직임이 있을 경우 민감 정보 보호에 부적합
  • 특히 AI와 신경망의 발전으로 이와 같은 역방향 처리 기술이 매우 빨라지고 정밀해짐
  • 예시: 음성이 섞인 녹음에서 깨끗한 음성 추출 가능
  • 영상이 많이 움직일수록 분석 가능한 데이터 포인트가 많아지고 정확도도 상승
  • 실험자가 Finder 창을 움직이지 않았다면 복원이 어려웠을 것으로 판단

앞으로는 어떻게 해야 하나?

  • 민감한 데이터를 숨기고 싶다면, 픽셀 처리나 블러 대신 단색 마스크 사용을 권장
  • 인간의 직관으로는 블러가 나을 것 같지만, AI 기술에서는 큰 차이 없음
  • 결론적으로, 유출되면 안 되는 정보는 영상에 포함시키지 않는 것이 최선의 보안 방법

참고 자료

십몇년 전에는 대기업에서 과제 주면 석박들이 매달려서 디블러링 논문 쓰곤 했는데... 이젠 거의 딸깍에 가까워졌네요.

깃허브에 있는 해독 영상 보니까 진짜 엄청나게 충격적이네요

Hacker News 의견
  • 몇 년 전에는 이런 작업을 하려면 슈퍼컴퓨터와 박사 학위가 필요했을 것이라는 의견이 있음

    • 실제로는 그렇지 않음. 20년 전에도 소비자용 노트북에서 가능했음
    • 이미지 생성 및 픽셀화/블러링된 조건을 재현할 수 있는 능력이 필요함
    • 픽셀 반경이 4개의 문자만 포함한다면, 먼저 그 4개의 문자를 검색하면 됨
    • 픽셀화를 나쁜 해시로 생각할 수 있으며, 사전 이미지를 찾기 쉬움
    • 모션, AI, 머신러닝이 필요하지 않음
    • 환경을 재현하는 것이 어려운 부분이며, AI는 그 노력을 생략할 수 있게 해줌
  • 10년 전 동료가 재미있는 기술 데모를 위해 비슷한 작업을 했던 기억이 있음

    • 약간 열린 사무실 문을 지나가며 비디오를 촬영했음
    • "이동하는 틈"에서 사무실의 전체 이미지를 재구성했음
    • 공공 화장실 칸에 있을 때마다 그 일이 생각남
  • Windows-98에서 스크린샷을 검열하는 방법

    • MS-Paint에서 스크린샷 열기
    • 색상 1과 2를 검정색으로 선택
    • 검열할 텍스트를 사각형 선택 도구로 선택
    • DEL 키를 눌러 사각형을 검정색으로 만듦
    • 스크린샷 저장
    • AI가 아직 검정색을 해독하는 방법을 찾지 못했음
  • Finder 창을 움직이지 않았다면 작동하지 않았을 것이라는 의견이 있음

    • 민감한 데이터를 숨기려면 블러나 픽셀화 대신 순수 색상 마스크를 사용할 것임
    • 창이 움직일 때 고정된 그리드에서 픽셀화하지 않기
    • 픽셀화를 한 번 하고 고정된 스크린샷으로 오버레이하여 더 보기 좋게 만들 수 있음
    • 비디오 편집 도구에 픽셀화 스크램블링 기능이 내장되면 좋겠음
  • 이러한 기술은 천문학과 같은 분야에서 오랫동안 사용되어 왔음

    • 흐릿한 이미지에서 객체를 재구성하는 것은 천문학 및 생의학 이미징에서 널리 사용됨
    • 흐림이 공간적으로 불변하다고 가정하면, 이미지 흐림은 실제 이미지와 점 확산 함수 간의 2차원 컨볼루션으로 정의됨
    • 다중 프레임 블라인드 디컨볼루션 문제로 전환하여 미지수를 줄임
  • Bell Labs A-3 스크램블러는 실시간 밴드 반전 및 전치를 사용했으나 상업 시장에서 실패했음

    • WWII 동안 SIGSALY는 현대 표준에 의해 안전한 첫 번째 시스템이었음
    • 동기화된 원타임 포노그래픽 레코드 쌍을 사용했음
  • Lockpicking Lawyer의 "Thank you" 비디오가 흐릿하게 처리되었지만 정보 차단은 하지 않았음

    • 창 입력에서 불량 데이터를 복구하는 것은 50년 이상 전부터 가능했음
    • 물리적 개선 대신 계산적 개선으로 비용을 전환하는 저렴한 방법임
  • 검열을 원하면 정보를 제거하라는 전문가의 조언이 있음

  • 픽셀화된 버전에 무작위 노이즈를 추가하면 이 방법을 사용할 수 없게 만들 수 있을지 궁금함

  • 90년대 일본의 "AV-8500 Special"을 시도해 볼 것을 제안함