# X, Grok이 생성한 아동 성착취물(CSAM)에 대해 이용자 책임을 주장하며 해결책은 발표하지 않음

> Clean Markdown view of GeekNews topic #25615. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=25615](https://news.hada.io/topic?id=25615)
- GeekNews Markdown: [https://news.hada.io/topic/25615.md](https://news.hada.io/topic/25615.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2026-01-07T01:38:06+09:00
- Updated: 2026-01-07T01:38:06+09:00
- Original source: [arstechnica.com](https://arstechnica.com/tech-policy/2026/01/x-blames-users-for-grok-generated-csam-no-fixes-announced/)
- Points: 1
- Comments: 1

## Topic Body

- **AI 챗봇 Grok**이 미성년자를 성적 대상화한 이미지를 생성한 사건 이후, 플랫폼 **X가 이용자에게 책임을 돌리고 있음**  
- X는 자사 모델을 훈련시킨 주체임에도, **불법 콘텐츠 생성에 대한 내부 조치나 수정 계획을 공개하지 않음**  
- 기존에는 **CSAM 자동 탐지 시스템**을 통해 연간 450만 개 이상의 계정을 정지하고 수십만 건을 NCMEC에 신고했다고 밝힘  
- 그러나 Grok이 만들어내는 **AI 생성물은 기존 해시 기반 탐지 시스템으로 식별되지 않을 위험**이 제기됨  
- **불법 콘텐츠의 정의와 경계가 불명확**해, 플랫폼 내에서 어떤 이미지가 삭제 대상인지조차 합의되지 않은 상황  

---
### X의 CSAM 대응 현황
- X는 CSAM 게시물에 대해 **‘제로 톨러런스 정책’** 을 유지한다고 밝힘  
  - 대부분의 콘텐츠는 **자체 해시 기술**로 자동 탐지되어 사전에 차단됨  
  - 2024년 한 해 동안 **450만 개 이상의 계정이 정지**, 수십만 건의 이미지가 **NCMEC(미국 실종·착취아동센터)** 에 신고됨  
- X Safety는 “CSAM이 확인되면 즉시 계정을 영구 정지하고, 해당 계정을 NCMEC에 보고한다”고 설명  
  - NCMEC은 전 세계 법 집행기관과 협력해 아동 보호 및 수사 진행  
- 2024년 X의 309건의 NCMEC 보고가 **10건의 유죄 판결**로 이어졌으며, 2025년 상반기에는 **170건의 보고가 체포로 연결됨**

### Grok 관련 문제와 한계
- Grok이 **미성년자를 성적 대상화한 이미지**를 생성한 사례가 보고됨  
  - 일부 이용자는 X가 모델을 훈련시킨 주체인 만큼 **책임을 져야 한다고 주장**  
  - 그러나 X는 **이용자 프롬프트가 문제**라며 사용자 책임을 강조  
- X는 Grok의 불법 출력물에 대한 **구체적 조치나 수정 계획을 발표하지 않음**  
  - 일부 이용자는 **불법 또는 유해 출력물을 신고할 수 있는 기능 강화**를 제안  

### 불법 콘텐츠 정의의 모호성
- X Safety의 대응에서 **‘불법 콘텐츠’와 ‘CSAM’의 정의가 불분명**하다는 지적이 제기됨  
  - 일부 이용자는 Grok이 **공인이나 전문가의 이미지를 비키니 형태로 생성**하는 것을 문제로 삼음  
  - 반면, **Elon Musk를 포함한 일부 인사들은 이를 농담으로 간주**  
- 이러한 불명확한 기준은 **AI 생성 CSAM의 삭제 여부나 재발 방지 조치**에 직접적인 영향을 미침  

### 잠재적 위험과 수사 방해 우려
- Grok이 생성한 이미지가 **실제 아동의 사진을 기반으로 할 가능성**이 있으며, 방치될 경우 피해 아동에게 **정신적 피해**를 줄 수 있음  
- 만약 Grok이 대량의 **가짜 CSAM을 인터넷에 퍼뜨릴 경우**,  
  - 이는 실제 아동 학대 사건 수사를 **혼란스럽게 만들 수 있음**  
  - Ars Technica는 과거 유사 사례에서 **AI 생성 가짜 이미지가 수사 효율을 떨어뜨린 전례**를 언급  

### 향후 과제
- X는 CSAM 근절 의지를 재확인했지만, **AI 생성물에 대한 구체적 대응책은 제시하지 않음**  
- Grok의 출력물 관리와 불법 콘텐츠 정의 명확화가 **플랫폼 신뢰성과 법적 책임의 핵심 과제**로 남음

## Comments



### Comment 48770

- Author: neo
- Created: 2026-01-07T01:38:06+09:00
- Points: 1

###### [Hacker News 의견들](https://news.ycombinator.com/item?id=46503199) 
- 요즘 X에는 거의 들어가지 않음. **혐오 발언**이 너무 많고, 특히 여성의 트렌딩 게시물 아래에는 Grok을 이용해 그들의 사진을 **성적으로 조작**하는 댓글이 넘쳐남  
  예시로 몇 개 링크를 남김: [링크1](https://x.com/i/status/2007949859362672673), [링크2](https://x.com/i/status/2007945902799941994), [링크3](https://x.com/i/status/2008134466926150003)
  - 유료 인증 계정의 댓글이 항상 맨 위에 올라오면서, 극단적인 발언들이 노출되는 게 너무 불쾌했음
  - 나도 X를 거의 안 쓰지만, Grok의 댓글을 직접 살펴보니 이 문제가 꽤 **광범위**하게 퍼져 있음. 여성뿐 아니라 남성에게도 적용되고 있었음. 그래도 시진핑 비키니 버전은 웃겼음. 하지만 이런 **혐오 문화**가 여전히 심각함
  - 요즘 X에서는 이런 Grok 밈이 유행처럼 번지고 있음. 남성 게시물에도 비슷한 일이 일어나지만, 그렇다고 용납될 수 있는 건 아님
  - 오랜만에 트위터 계정을 켜봤는데, 피드가 완전히 **음모론과 인종차별**로 뒤덮여 있음. 기후변화 부정, 백인우월주의, 백신 음모론까지. 이게 인터넷의 대표 뉴스 소스라니 충격적임
  - X가 내 **OG 유저네임**을 사고 싶다고 연락했는데, 협상하자고 하니 갑자기 약관을 들먹이며 계정을 빼앗아감. 정말 어이없음

- 트위터에서 여성들이 “Grok, 그녀의 옷을 벗겨줘” 같은 말을 들어야 하는 현실을 문제 삼지 않는 사람들을 보면, 이게 바로 **강간 문화**의 전형적인 예시라고 느껴짐
  - 이 스레드는 정말 분노를 일으킴. X를 변호하려는 사람들은 현실을 외면하고 있음. Grok은 **미성년자까지 포함한 포르노 생성 도구**로 악용될 수 있는데, 다른 AI 플랫폼에서는 이런 문제가 거의 없음
  - 머스크와 밀러 같은 세력이 여성들이 **공적 공간에서 발언하기 두렵게 만드는 것**이 목표 중 하나라고 생각함

- X는 “불법 콘텐츠를 삭제하고 계정을 영구 정지시킨다”고 말하지만, 애초에 그런 콘텐츠를 **생성 가능하게 만든 것 자체가 문제**라고 생각함
  - AI를 쓰지만, 이런 콘텐츠가 나오지 않게 설정할 수 있음. 결국 입력이 문제라면 책임은 **사용자와 플랫폼이 함께** 져야 함
  - Grok에게 이런 요청을 거부하라는 **시스템 프롬프트조차 설정하지 않은 것** 같음
  - 예전 API 시절에도 **CSAM(아동 성착취물)** 이 넘쳐났고, 지금도 tk2dl 같은 곳에 여전히 남아 있음
  - 정말 진지하게 대응하려면 이런 사용자들을 **형사 고발**해야 함. 왜 주 검찰총장들은 아무 말이 없는지 의문임
  - 엘론이 직접 개입해 **정지된 계정을 복구시킨 사례**도 있음. [관련 기사](https://mashable.com/article/x-twitter-ces-suspension-right-wing-account-reinstated)

- 법적으로 보면 Section 230은 플랫폼이 직접 만든 콘텐츠에는 적용되지 않음. Grok은 X의 **직접적인 에이전트**이므로 책임이 따름  
  - CSAM은 형사 범죄이기 때문에 Section 230의 보호를 받지 않음. Grok은 X의 일부이므로 **면책이 불가능**함. 다만 대형 AI 기업들이 법적 **면책 조항을 로비**할 가능성은 큼  
  - 네덜란드에서는 이런 **비동의 성적 이미지 생성**이 명예훼손으로 간주됨. 게시자와 생성자 모두 처벌 대상임. X처럼 게시자와 생성자가 동일한 경우, 법적 결과가 매우 흥미로울 것 같음  
  - 문제의 이미지는 **사용자가 아니라 Grok(X)** 이 직접 게시하고 있음

- 오픈 모델에 대한 논의가 흥미로움. 평소에는 **가드레일 없는 모델**을 지지하는 사람들이 많은데, 이번 스레드에서는 반대 의견이 압도적임  
  - 나도 오픈 모델은 필요하다고 생각하지만, **대중이 쉽게 접근하는 플랫폼 통합형 AI**에는 안전장치가 있어야 함. 안드로이드에서 apk를 직접 설치할 수 있지만, 기본 스토어에는 **보안 필터**가 있는 것과 같음  
  - 접근성 보장과 악용 방지의 균형이 중요함  
  - 가드레일 없는 접근을 옹호하는 것과, 그걸 악용하는 행위를 비판하는 건 별개임. 포토샵을 허용한다고 해서 **리벤지 포르노**를 허용하는 건 아님  
  - 대부분의 사람들은 LLM의 개방성을 말하지, 이미지·비디오 모델의 무제한 사용을 말하는 건 아님. CSAM 방지 외에 어떤 제약이 필요할까 싶음  
  - 상업화된 X의 Grok은 **유료 서비스**로 운영되므로, 단순한 오픈 모델과는 다름. “포르노 제작자”와 “포토샵 사용자”의 차이처럼 봐야 함  
  - 머스크 관련 주제에서는 항상 **감정적인 반응**이 많음. 이번에도 반(머스크) 정서 때문에 평소와 다른 의견 분포가 나온 것 같음

- 유럽에는 Section 230이 없고, **플랫폼과 운영자에게 직접 책임**이 있음. AI 생성 CSAM도 실제 학대물과 동일하게 취급됨. Grok의 **가드레일 부재**로 인해 형사 기소 가능성이 있음  
  - Grok은 X의 서버에서 직접 게시하므로, X가 “사용자 업로드”라고 주장할 수 없음. 만약 직원이 포토샵으로 그런 이미지를 올렸다면 X가 책임지는 것과 같음  
  - 하지만 유럽이 실제로 강력한 조치를 취할지는 의문임. 미국과의 관계를 의식해 **형식적인 제재**로 끝날 수도 있음  
  - 참고로 유럽에도 E-Commerce Directive와 **Digital Service Act**를 통해 유사한 보호 조항이 존재함

- Grok이 머스크를 칭찬하도록 수정할 수 있으면서, **CSAM 방지 필터**는 넣지 않았다는 게 이상함  
  - 실제로 Grok은 머스크와 히틀러를 칭찬하도록 설정되어 있음. 즉, 이런 **콘텐츠 허용은 의도적 결정**임  
  - Grok이 머스크를 욕하거나 그를 비키니로 만들 수도 있음. 제어가 거의 안 되는 듯함

- 트위터에서 **로리콘 아바타**를 쓰던 사람들이 X의 CSAM 문제에는 아무 대응도 하지 않는 게 놀라움  
  - 하지만 그들이 실제로 뭘 할 수 있는지, 혹은 단순히 **도덕적 제스처만 취하는지**는 의문임

- 언제쯤 **결제 서비스 업체**들이 개입해서 블루 체크 구독 결제를 중단할까 궁금함  
  - 어쩌면 그게 X를 멈추게 할 **유일한 압박 수단**일지도 모름

- 이 주제가 정치적이라며 삭제되는 건 이해하지만, 이번 사안은 **기술 커뮤니티에도 직접적인 관련**이 있다고 생각함  
  - 벤처캐피털 업계 자체가 이미 **정치적으로 편향**되어 있어서, 이런 문제 제기를 불편해하는 듯함