▲

X, Grok이 생성한 아동 성착취물(CSAM)에 대해 이용자 책임을 주장하며 해결책은 발표하지 않음

 (arstechnica.com)
1P by GN⁺ 3일전 | ★ favorite | 댓글 1개
  • AI 챗봇 Grok이 미성년자를 성적 대상화한 이미지를 생성한 사건 이후, 플랫폼 X가 이용자에게 책임을 돌리고 있음
  • X는 자사 모델을 훈련시킨 주체임에도, 불법 콘텐츠 생성에 대한 내부 조치나 수정 계획을 공개하지 않음
  • 기존에는 CSAM 자동 탐지 시스템을 통해 연간 450만 개 이상의 계정을 정지하고 수십만 건을 NCMEC에 신고했다고 밝힘
  • 그러나 Grok이 만들어내는 AI 생성물은 기존 해시 기반 탐지 시스템으로 식별되지 않을 위험이 제기됨
  • 불법 콘텐츠의 정의와 경계가 불명확해, 플랫폼 내에서 어떤 이미지가 삭제 대상인지조차 합의되지 않은 상황

X의 CSAM 대응 현황

  • X는 CSAM 게시물에 대해 ‘제로 톨러런스 정책’ 을 유지한다고 밝힘
    • 대부분의 콘텐츠는 자체 해시 기술로 자동 탐지되어 사전에 차단됨
    • 2024년 한 해 동안 450만 개 이상의 계정이 정지, 수십만 건의 이미지가 NCMEC(미국 실종·착취아동센터) 에 신고됨
  • X Safety는 “CSAM이 확인되면 즉시 계정을 영구 정지하고, 해당 계정을 NCMEC에 보고한다”고 설명
    • NCMEC은 전 세계 법 집행기관과 협력해 아동 보호 및 수사 진행
  • 2024년 X의 309건의 NCMEC 보고가 10건의 유죄 판결로 이어졌으며, 2025년 상반기에는 170건의 보고가 체포로 연결됨

Grok 관련 문제와 한계

  • Grok이 미성년자를 성적 대상화한 이미지를 생성한 사례가 보고됨
    • 일부 이용자는 X가 모델을 훈련시킨 주체인 만큼 책임을 져야 한다고 주장
    • 그러나 X는 이용자 프롬프트가 문제라며 사용자 책임을 강조
  • X는 Grok의 불법 출력물에 대한 구체적 조치나 수정 계획을 발표하지 않음
    • 일부 이용자는 불법 또는 유해 출력물을 신고할 수 있는 기능 강화를 제안

불법 콘텐츠 정의의 모호성

  • X Safety의 대응에서 ‘불법 콘텐츠’와 ‘CSAM’의 정의가 불분명하다는 지적이 제기됨
    • 일부 이용자는 Grok이 공인이나 전문가의 이미지를 비키니 형태로 생성하는 것을 문제로 삼음
    • 반면, Elon Musk를 포함한 일부 인사들은 이를 농담으로 간주
  • 이러한 불명확한 기준은 AI 생성 CSAM의 삭제 여부나 재발 방지 조치에 직접적인 영향을 미침

잠재적 위험과 수사 방해 우려

  • Grok이 생성한 이미지가 실제 아동의 사진을 기반으로 할 가능성이 있으며, 방치될 경우 피해 아동에게 정신적 피해를 줄 수 있음
  • 만약 Grok이 대량의 가짜 CSAM을 인터넷에 퍼뜨릴 경우,
    • 이는 실제 아동 학대 사건 수사를 혼란스럽게 만들 수 있음
    • Ars Technica는 과거 유사 사례에서 AI 생성 가짜 이미지가 수사 효율을 떨어뜨린 전례를 언급

향후 과제

  • X는 CSAM 근절 의지를 재확인했지만, AI 생성물에 대한 구체적 대응책은 제시하지 않음
  • Grok의 출력물 관리와 불법 콘텐츠 정의 명확화가 플랫폼 신뢰성과 법적 책임의 핵심 과제로 남음
▲
GN⁺ 3일전  [-]
Hacker News 의견들

  • 요즘 X에는 거의 들어가지 않음. 혐오 발언이 너무 많고, 특히 여성의 트렌딩 게시물 아래에는 Grok을 이용해 그들의 사진을 성적으로 조작하는 댓글이 넘쳐남
    예시로 몇 개 링크를 남김: 링크1, 링크2, 링크3

    • 유료 인증 계정의 댓글이 항상 맨 위에 올라오면서, 극단적인 발언들이 노출되는 게 너무 불쾌했음
    • 나도 X를 거의 안 쓰지만, Grok의 댓글을 직접 살펴보니 이 문제가 꽤 광범위하게 퍼져 있음. 여성뿐 아니라 남성에게도 적용되고 있었음. 그래도 시진핑 비키니 버전은 웃겼음. 하지만 이런 혐오 문화가 여전히 심각함
    • 요즘 X에서는 이런 Grok 밈이 유행처럼 번지고 있음. 남성 게시물에도 비슷한 일이 일어나지만, 그렇다고 용납될 수 있는 건 아님
    • 오랜만에 트위터 계정을 켜봤는데, 피드가 완전히 음모론과 인종차별로 뒤덮여 있음. 기후변화 부정, 백인우월주의, 백신 음모론까지. 이게 인터넷의 대표 뉴스 소스라니 충격적임
    • X가 내 OG 유저네임을 사고 싶다고 연락했는데, 협상하자고 하니 갑자기 약관을 들먹이며 계정을 빼앗아감. 정말 어이없음

  • 트위터에서 여성들이 “Grok, 그녀의 옷을 벗겨줘” 같은 말을 들어야 하는 현실을 문제 삼지 않는 사람들을 보면, 이게 바로 강간 문화의 전형적인 예시라고 느껴짐

    • 이 스레드는 정말 분노를 일으킴. X를 변호하려는 사람들은 현실을 외면하고 있음. Grok은 미성년자까지 포함한 포르노 생성 도구로 악용될 수 있는데, 다른 AI 플랫폼에서는 이런 문제가 거의 없음
    • 머스크와 밀러 같은 세력이 여성들이 공적 공간에서 발언하기 두렵게 만드는 것이 목표 중 하나라고 생각함

  • X는 “불법 콘텐츠를 삭제하고 계정을 영구 정지시킨다”고 말하지만, 애초에 그런 콘텐츠를 생성 가능하게 만든 것 자체가 문제라고 생각함

    • AI를 쓰지만, 이런 콘텐츠가 나오지 않게 설정할 수 있음. 결국 입력이 문제라면 책임은 사용자와 플랫폼이 함께 져야 함
    • Grok에게 이런 요청을 거부하라는 시스템 프롬프트조차 설정하지 않은 것 같음
    • 예전 API 시절에도 CSAM(아동 성착취물) 이 넘쳐났고, 지금도 tk2dl 같은 곳에 여전히 남아 있음
    • 정말 진지하게 대응하려면 이런 사용자들을 형사 고발해야 함. 왜 주 검찰총장들은 아무 말이 없는지 의문임
    • 엘론이 직접 개입해 정지된 계정을 복구시킨 사례도 있음. 관련 기사

  • 법적으로 보면 Section 230은 플랫폼이 직접 만든 콘텐츠에는 적용되지 않음. Grok은 X의 직접적인 에이전트이므로 책임이 따름

    • CSAM은 형사 범죄이기 때문에 Section 230의 보호를 받지 않음. Grok은 X의 일부이므로 면책이 불가능함. 다만 대형 AI 기업들이 법적 면책 조항을 로비할 가능성은 큼
    • 네덜란드에서는 이런 비동의 성적 이미지 생성이 명예훼손으로 간주됨. 게시자와 생성자 모두 처벌 대상임. X처럼 게시자와 생성자가 동일한 경우, 법적 결과가 매우 흥미로울 것 같음
    • 문제의 이미지는 사용자가 아니라 Grok(X) 이 직접 게시하고 있음

  • 오픈 모델에 대한 논의가 흥미로움. 평소에는 가드레일 없는 모델을 지지하는 사람들이 많은데, 이번 스레드에서는 반대 의견이 압도적임

    • 나도 오픈 모델은 필요하다고 생각하지만, 대중이 쉽게 접근하는 플랫폼 통합형 AI에는 안전장치가 있어야 함. 안드로이드에서 apk를 직접 설치할 수 있지만, 기본 스토어에는 보안 필터가 있는 것과 같음
    • 접근성 보장과 악용 방지의 균형이 중요함
    • 가드레일 없는 접근을 옹호하는 것과, 그걸 악용하는 행위를 비판하는 건 별개임. 포토샵을 허용한다고 해서 리벤지 포르노를 허용하는 건 아님
    • 대부분의 사람들은 LLM의 개방성을 말하지, 이미지·비디오 모델의 무제한 사용을 말하는 건 아님. CSAM 방지 외에 어떤 제약이 필요할까 싶음
    • 상업화된 X의 Grok은 유료 서비스로 운영되므로, 단순한 오픈 모델과는 다름. “포르노 제작자”와 “포토샵 사용자”의 차이처럼 봐야 함
    • 머스크 관련 주제에서는 항상 감정적인 반응이 많음. 이번에도 반(머스크) 정서 때문에 평소와 다른 의견 분포가 나온 것 같음

  • 유럽에는 Section 230이 없고, 플랫폼과 운영자에게 직접 책임이 있음. AI 생성 CSAM도 실제 학대물과 동일하게 취급됨. Grok의 가드레일 부재로 인해 형사 기소 가능성이 있음

    • Grok은 X의 서버에서 직접 게시하므로, X가 “사용자 업로드”라고 주장할 수 없음. 만약 직원이 포토샵으로 그런 이미지를 올렸다면 X가 책임지는 것과 같음
    • 하지만 유럽이 실제로 강력한 조치를 취할지는 의문임. 미국과의 관계를 의식해 형식적인 제재로 끝날 수도 있음
    • 참고로 유럽에도 E-Commerce Directive와 Digital Service Act를 통해 유사한 보호 조항이 존재함

  • Grok이 머스크를 칭찬하도록 수정할 수 있으면서, CSAM 방지 필터는 넣지 않았다는 게 이상함

    • 실제로 Grok은 머스크와 히틀러를 칭찬하도록 설정되어 있음. 즉, 이런 콘텐츠 허용은 의도적 결정임
    • Grok이 머스크를 욕하거나 그를 비키니로 만들 수도 있음. 제어가 거의 안 되는 듯함

  • 트위터에서 로리콘 아바타를 쓰던 사람들이 X의 CSAM 문제에는 아무 대응도 하지 않는 게 놀라움

    • 하지만 그들이 실제로 뭘 할 수 있는지, 혹은 단순히 도덕적 제스처만 취하는지는 의문임

  • 언제쯤 결제 서비스 업체들이 개입해서 블루 체크 구독 결제를 중단할까 궁금함

    • 어쩌면 그게 X를 멈추게 할 유일한 압박 수단일지도 모름

  • 이 주제가 정치적이라며 삭제되는 건 이해하지만, 이번 사안은 기술 커뮤니티에도 직접적인 관련이 있다고 생각함

    • 벤처캐피털 업계 자체가 이미 정치적으로 편향되어 있어서, 이런 문제 제기를 불편해하는 듯함
답변달기