▲

OpenAI, 검증 도구와 함께 AI 이미지에 Google의 SynthID 워터마크 도입

 (openai.com)
2P by GN⁺ 13시간전 | ★ favorite | 댓글 1개
  • OpenAI는 AI 생성 콘텐츠 식별을 위해 C2PA 적합성, SynthID 워터마크, 공개 검증 도구를 결합한 다층 출처 모델을 강화함
  • C2PA는 메타데이터와 암호학적 서명으로 콘텐츠의 생성·편집 맥락을 함께 이동시키지만, 변환 과정에서 손상될 수 있음
  • Google DeepMind의 SynthID는 ChatGPT, Codex, OpenAI API 생성 이미지에 보이지 않는 워터마크를 더해 메타데이터의 약점을 보완함
  • 공개 검증 도구 프리뷰는 업로드 이미지의 Content Credentials와 SynthID를 확인해 OpenAI 생성 여부 판단을 도와줌
  • 단일 기술만으로는 충분하지 않으며, 공통 표준, 지속성 있는 워터마킹, 공개 검증을 결합해야 출처 생태계가 강해짐

콘텐츠 출처 접근 방식 강화

  • OpenAI는 온라인 신뢰 구축을 위해 다층적 출처 모델을 강화하고, 개방형 표준과 플랫폼 간 협력을 기반으로 AI 생성 콘텐츠의 식별 가능성을 높이려 함
  • 주요 변화는 세 가지임
    • C2PA 적합성으로 다른 도구와 플랫폼이 출처 신호를 더 쉽게 인식하도록 지원함
    • Google과 협력해 이미지에 SynthID 워터마킹을 추가함
    • 이미지가 OpenAI에서 생성됐는지 대중이 확인할 수 있는 공개 검증 도구 프리뷰를 제공함
  • 출처 신호는 콘텐츠가 어디서 왔는지, 어떻게 생성되거나 편집됐는지, 주장하는 바와 일치하는지를 판단하는 데 필요한 맥락을 제공함

C2PA 적합성을 통한 신뢰 생태계

  • OpenAI는 2024년부터 출처 표준 개발과 도입에 참여했으며, DALL·E 3 생성 이미지에 Content Credentials를 추가하기 시작함
  • 이후 ImageGen과 Sora에도 Content Credentials가 적용됨
  • OpenAI는 콘텐츠 출처를 위한 개방형 기술 표준을 추진하는 범산업 단체 Coalition for Content Provenance and Authenticity(C2PA) 의 운영위원회에 합류함
  • C2PA는 메타데이터와 암호학적 서명을 사용해 미디어 관련 정보가 콘텐츠 자체와 함께 안전하게 이동하도록 돕는 방식임
  • 이 정보는 출처를 평가하는 기자, 무결성 관련 결정을 내리는 플랫폼, 온라인 콘텐츠를 이해하려는 사람들에게 맥락을 제공함
  • OpenAI는 최근 C2PA 적합 생성 제품이 됨
  • C2PA 적합성은 플랫폼이 콘텐츠에 첨부된 출처 정보를 신뢰 가능한 방식으로 읽고, 보존하고, 전달할 수 있게 하는 기반이 됨
  • 출처 정보는 콘텐츠가 처음 생성된 플랫폼을 넘어 유지될 때 의미가 커지며, 적합성 준수가 이를 가능하게 함

SynthID를 더한 다층적 이미지 출처

  • C2PA 메타데이터는 콘텐츠가 어디서 왔는지, 어떻게 생성되거나 편집됐는지, 누가 해당 정보에 서명했는지를 담아 이동시키는 기반임
  • 메타데이터는 제거되거나, 업로드·다운로드 과정에서 사라지거나, 파일 형식 변경·크기 조정·스크린샷 같은 변환으로 손상될 수 있음
  • OpenAI는 출처 정보를 더 견고하게 만들기 위해 Google DeepMind의 SynthID를 통한 보이지 않는 워터마크를 도입함
  • 적용 대상은 먼저 ChatGPT, Codex, OpenAI API를 통해 생성된 이미지부터 시작됨
  • SynthID는 C2PA 메타데이터 기반 접근 방식을 보완하는 추가 워터마크 계층으로 동작함
  • OpenAI는 이전에도 출처와 워터마킹 방식을 실제 배포 환경에서 시험해 왔음
    • Sora에는 눈에 보이는 워터마크를 사용함
    • Voice Engine에는 오디오 워터마크를 사용함
    • 시간이 지나도 정확성과 신뢰성이 유지되는지 계속 테스트하고 연구함
  • C2PA와 SynthID는 서로 다른 약점을 보완함
    • C2PA는 콘텐츠에 자세한 맥락을 담도록 돕지만, 메타데이터가 제거되거나 손상될 수 있음
    • SynthID는 메타데이터가 유지되지 않을 때도 신호를 보존하도록 돕고, 스크린샷 같은 변환에도 더 오래 유지될 수 있음
    • 메타데이터는 워터마크만으로는 제공할 수 없는 더 많은 정보를 제공함
  • 두 방식을 함께 사용하면 각각을 단독으로 사용할 때보다 콘텐츠 출처 정보의 복원력이 강해짐

공개 검증 도구 프리뷰

  • OpenAI는 ChatGPT, OpenAI API, Codex에서 생성된 이미지인지 확인하도록 돕는 공개 검증 도구를 프리뷰 버전으로 제공함
  • 이 도구는 업로드된 이미지에 Content Credentials와 SynthID 등 출처 신호가 포함되어 있는지 확인함
  • 여러 신호를 통합해 사용자가 콘텐츠 출처 정보를 더 쉽게 검증하고 해석하도록 돕는 것이 목표임
  • 공개 검증 도구는 OpenAI에서 비롯된 SynthID 워터마크를 안정적으로 감지할 수 있으며, C2PA 메타데이터가 발견되면 함께 표시할 수 있음
  • 어떤 탐지 방법도 완벽하지 않기 때문에, 탐지가 실패할 때는 단정적인 결론을 내리지 않음
    • 메타데이터나 워터마크가 감지되지 않아도 해당 이미지가 OpenAI 도구로 생성되지 않았다고 단정하지 않음
    • 출처 신호는 경우에 따라 제거될 수 있음
  • 출시 시점의 검증 도구는 OpenAI가 생성한 콘텐츠로 제한됨
  • 앞으로 몇 달 안에 플랫폼 전반의 검증을 가능하게 하는 범산업적 노력을 지원하는 것이 목표임
  • 시간이 지나면 온라인에서 접할 수 있는 더 많은 유형의 콘텐츠도 지원할 것으로 기대됨

향후 과제

  • 단일 출처 기술만으로는 충분하지 않음
  • 강력한 출처 접근 방식은 공통 표준, 오래 지속되는 워터마킹 신호, 공개 검증을 결합해야 함
  • OpenAI는 Content Credentials에 대한 기존 지원, C2PA 적합성, SynthID 도입, 공개 검증 도구 프리뷰를 통해 더 상호운용 가능한 출처 생태계에 기여하려 함

함께 보면 좋은 글 β

▲
GN⁺ 13시간전  [-]
Hacker News 의견들

  • 검은 배경으로 AI 이미지를 만들게 하면 괜찮은 모니터에서는 SynthID가 눈에 보임. 그냥 반복되는 흐릿한 패턴이라 특별한 건 없음
    2번째 픽셀마다 마스킹한 뒤 빠진 픽셀을 재생성하고, 다시 1픽셀 오프셋을 둬서 2번째 픽셀마다 마스킹하는 방식으로 꽤 잘 제거했음
    픽셀 채우기에는 기성 모델을 썼지만, 변경 전에 먼저 깊이 맵을 내보내고 노이즈를 줄여서 새로 생성된 마스킹 픽셀이 원본 내용에 맞도록 했음. 결과가 100% 완벽하진 않았지만, 시간을 더 들이고 이 용도에 맞게 미세조정한 모델을 쓰면 어떤 AI 워터마킹도 큰 문제 없이 제거할 수 있을 듯함

    • 0.5비트 워터마크처럼 존재 여부만 담는 워터마크를 제거할 수 있다고는 믿기 어려움. 눈에 보이는 건 아마 기능적인 미끼일 가능성이 큼
    • 이미지를 아주 조금만 늘리거나 압축하면 안 되나?
    • 시간을 더 들이고 특정 용도에 맞게 미세조정한 모델이면 어떤 AI 워터마킹도 큰 문제 없이 제거할 수 있다는 점이 흥미로움. AI를 AI 상대로 쓰는 것은 늘 재미있음
    • 분명히 우회 가능함. 우리 엔지니어 몇 명도 오래전에 이걸 다뤘음
      https://deepwalker.xyz/blog/bypassing-synthid-in-gemini-phot...

  • 메타데이터나 SynthID에는 어떤 정보가 들어가나? SynthID에는 몇 비트까지 인코딩할 수 있나?
    합성 콘텐츠용 영양성분표 같은 걸 만들 수 있을까? 합성 텍스트 10%, 합성 이미지 30% 같은 식으로
    오늘 당신의 현실은 15% 합성이었음(75% 거대 기업, 25% 오픈 가중치 neocloud)

    • 2025년 10월의 SynthID-Image 논문[0]은 512x512 이미지에서 플래그 확인 또는 136비트 페이로드를 테스트하고, 여러 변환 뒤 워터마크의 견고성을 본 인코더-디코더였던 것 같음
      실제 배포 버전은 아마 꽤 다를 것임
      [0]:https://arxiv.org/html/2510.09263v1
    • 사용자 ID나 개인별 지문을 넣을 수도 있음. 오래전에 프린터에 그런 걸 넣었고, 이제 생성하는 모든 사진과 이미지에도 쉽게 가능해질 것임
    • 그건 가능하지 않을 듯함. 합성 조각을 원본 이미지에 붙여 넣으면 SynthID가 그걸 알 수는 없을 테니까

  • SynthID는 완전히 털린 것처럼 보이는데, OpenAI의 새 워터마크는 아직 아닌 것 같아서 흥미로움 [1]
    [1] https://github.com/wiltodelta/remove-ai-watermarks

  • 이건 그냥 보여주기식 헛짓임
    여러 매체에서 도구로 뭔가 만드는 입장에서는, 내가 선택하지 않은 임의의 메타데이터를 넣는 이런 도구는 그냥 피할 것임
    비디오게임용 텍스처를 만들면서 이런 이상한 DRM 찌꺼기를 넣어야 하나? Photoshop은 얼마나 오래됐는데 왜 예외인가?

    • 완벽하지 않다고 해서 쓸모없는 건 아님. 이미 온라인에서 누군가 이미지를 Google의 SynthID 검사에 돌려 위조였음을 증명한 게시물을 봤음
      Photoshop은 Google이나 OpenAI가 만든 게 아니고, Photoshop으로 사실적인 기만 이미지를 만드는 진입장벽은 AI보다 훨씬 높음. 전통적인 이미지 편집 사용 여부를 불완전하게나마 감지하는 기법도 이미 있음
    • Photoshop과 생성형 AI를 구분하는 요소 몇 가지는 충분히 떠올릴 수 있을 거라 믿음
    • 엄밀히 말해 DRM은 디지털 권리 관리이고, 지식재산권과 관련됨
      Google이나 OpenAI가 자기 이미지에 대한 지식재산권을 주장하는 경우에만 SynthID가 DRM일 텐데, 그게 합법인지는 모르겠음
    • 참고로: https://en.wikipedia.org/wiki/Printer_tracking_dots
    • 오늘날 분당 가능한 최대 이론적 허위정보 생산량은 2021년의 Photoshop과 비교해 어떨까?

  • 좋음. 제거될 거라고들 하지만, 이를 재현 가능하게 보여주는 저장소는 아직 못 봤음

    • Stable Diffusion에서 노이즈 제거 강도 10~15%면 끝남
      Nano Banana Pro가 출시된 첫날 테스트했고 작동했음. 지금도 Nano Banana 2에서 작동함
      공개적으로 말하면 인터넷을 더 나쁘게 만들 거라고 오만하게 생각해서 어디에도 올리지 않았음. 하지만 내가 첫날 떠올렸다면 당연히 다른 수백만 프로그래머도 떠올렸을 테니 순전한 오만이었음
      다만 SD 모델 특유의 아티팩트가 생기고, 그건 다른 방법으로 감지될 수 있음. 아니면 크게 확대해서 꼼꼼히 봐도 보일 수 있음
    • 애초에 다른 모델을 쓰는 게 훨씬 쉬울 듯함
    • 제거되긴 하겠지만 많은 사람은 안 할 것임. 실제로 SynthID로 감지 가능한 허위정보를 본 적이 있음

  • 지금 이 글 바로 옆에 이 글이 붙어 있는 게 절묘함: https://news.ycombinator.com/item?id=48200569

  • mp3의 메타데이터 같은 건가?
    AI 이미지의 스크린샷을 찍으면 그것도 AI 이미지로 보이나? 이미지 안에 숨겨진 건지, 아니면 메타데이터인지 궁금함

    • 이미지 안에 들어 있고, 그런 작업을 거쳐도 살아남도록 설계된 것임

  • 처음에는 사진이 OpenAI에서 나온 건지 검증하고, 그다음엔 구독자 데이터와 위치정보를 넣을 것임
    결국 아무도 AI 생성 사진이나 텍스트를 보고 싶어 하지 않는다는 걸 알게 될 것임. 그렇게 되면 이 도구는 대중에게는 실패하고 정부용으로만 작동하겠지

    • 사진처럼 사실적인 AI 생성의 유일한 용도는 기만처럼 보임. 이미 미국 정치 광고에서 AI 생성 영상이 쓰이고 있음

  • 이런 워터마크는 제거하거나 왜곡하기 쉽지 않나? 사람들이 드물게 의존해서 우회할 가치가 없을 때까지만 도움이 되는 것 같음
    소셜미디어 플랫폼이 이런 워터마크가 있는 이미지를 금지하기 시작하면 하룻밤 사이에 다 벗겨질 듯함

    • 아님. 쉽게 할 수 있는 변형에는 매우 강함. 그렇다고 불가능하다고 보진 않음
    • 실제 Nano Banana 2/NBPro 출력물에서 진짜 SynthID 워터마크를 제거하는 GitHub 저장소는 아직 하나도 없다고 봄. 대부분은 아직 성과를 내지 못한 연구 프로젝트임
      지금까지 본 방법은 편집 기능을 쓸 때 투명도나 원본 이미지 오버레이를 이용하는 이상한 트릭, 또는 확산 모델로 NB 생성 이미지를 낮은 노이즈 수준에서 재생성하는 방식뿐인데, 이 경우 원본도 바뀜
    • “쉽게”의 정의가 필요함. 이미지의 스펙트럼 분석에 기반한 접근이 있고, 겉보기에는 작동하는 듯함
      https://github.com/aloshdenny/reverse-SynthID
    • 이건 몇 년 전에 공개됐고 아직 깨지지 않은 것 같음. 언젠가는 깨지겠지만, 딥페이크를 만든 뒤 Facebook에 올리기까지 1~2년을 기다려야 한다면 그 정도로도 충분할 수 있음. 한 달만 지연돼도 충분할지도 모름
    • 아주 자세한 설명을 바탕으로 AI가 이미지를 처음부터 다시 만들게 하는 방식은 통할 것 같음

  • 실제 공개 표준인 C2PA보다 열등해 보임: https://contentauthenticity.org/

답변달기