설계상 불법: 생성형 AI의 인권 비용 드러내기
(amnesty.org)- 독립형 생성형 AI 시스템은 불법 웹 스크래핑에 기반할 때 설계·개발·배포 전 과정에서 국제인권법(IHRL) 및 기준과 충돌함
- 이 기술은 정교한 자동화와 효율성을 약속하지만, 데이터 수집과 모델 학습 관행이 프라이버시 권리를 남용하는 구조에 의존함
- 같은 관행은 차별을 가능하게 하고 표현의 자유와 사상의 자유를 위협하는 인권 비용을 만듦
- Amnesty International은 불법 웹 스크래핑 기반 시스템이 설계상 대규모 프라이버시 침해에 의존한다고 결론냄
- 이러한 시스템은 국제인권법과 근본적으로 양립할 수 없으며, Amnesty International은 해당 시스템 금지를 요구함
핵심 판단
- 불법 웹 스크래핑에 기반한 독립형 생성형 AI 시스템은 설계, 개발, 배포 단계에서 국제인권법(IHRL) 및 관련 기준과 충돌함
- Amnesty International은 이러한 시스템이 설계상 대규모 프라이버시 침해에 의존하며, 국제인권법과 근본적으로 양립할 수 없다고 봄
인권 침해 메커니즘
- 생성형 AI 기술은 정교한 자동화와 효율성을 약속함
- 그러나 데이터 수집과 모델 학습 관행은 프라이버시 권리 남용에 의존함
- 이러한 관행은 차별을 가능하게 하고, 표현의 자유와 사상의 자유를 위협함
결론과 요구
- Amnesty International은 불법 웹 스크래핑 기반 독립형 생성형 AI 시스템의 금지를 요구함
- 영문 보고서는 Download PDF에서 내려받을 수 있음
댓글과 토론
Lobste.rs 의견들
-
불법 웹 스크래핑이라는 표현 때문에 또 다른 부작용으로 웹 스크래핑까지 금지하자는 흐름이 되지는 않았으면 함
- 스크래핑 금지를 밀어붙이는 건 아닌 것 같고, 해당 부분을 읽어보면 우려가 꽤 구체적이고 합리적임
기업들이 동의 없이 개인정보를 대량 수집한 뒤, 그 데이터를 노출 위험이 있는 방식으로 상업화하고 있다는 문제임 - Amnesty가 출판사들 논리에 휘둘리는 것 같아 아쉬움
- 스크래핑 금지를 밀어붙이는 건 아닌 것 같고, 해당 부분을 읽어보면 우려가 꽤 구체적이고 합리적임
-
Amnesty International이 그런 시스템의 금지를 요구한다니, 꽤 강하게 나오고 있음
- 그렇게 표현하지 않았으면 더 좋았을 것 같음. 일부 독자는 “이미 열린 판도라의 상자를 다시 닫자는 거냐”는 식의 실현 불가능한 이상론으로 치부할 수 있음
그래도 AI 기반 의사결정에서 구제 수단이 필요하다는 점, 모델에서 관찰되는 편향, 동의·저작자 표시·보상 없는 스크래핑 같은 문제는 타당하게 짚고 있음
- 그렇게 표현하지 않았으면 더 좋았을 것 같음. 일부 독자는 “이미 열린 판도라의 상자를 다시 닫자는 거냐”는 식의 실현 불가능한 이상론으로 치부할 수 있음
-
아직 다 읽지는 않았지만 5.6절 결론 p.35에서 눈에 띄는 부분이 있었음
Amnesty International이 DeepSeek, Google, OpenAI, Meta, Stability AI, Intel, VMware, Midjourney, Microsoft, Amazon에는 독립형 생성 AI 시스템과 인권 위험에 대한 조사 결과·우려에 답변을 요청했는데, Anthropic이 눈에 띄게 빠져 있음
보고서에서 Anthropic 언급을 검색해보니 2026년 2월 미국 군이 이스라엘과 함께 이란을 공격할 때 Anthropic의 Claude를 사용했다는 내용뿐이었고, 미국 정부가 Anthropic의 “대규모 국내 감시” 및 “감독 없는 완전 자율 무기” 사용 제한 계약 조건을 무시했다는 대목이 나옴
Anthropic 제품은 2024년부터 미국 정부와 군에서 쓰였고, 기밀 업무를 하는 정부 기관 전반에 제품이 배포된 첫 “고급 AI 기업”으로 알려졌으며, Anthropic이 해당 제한을 수정하지 않자 2026년 3월 6일 Pentagon이 “Supply Chain Risk”로 분류했다는 내용도 있음
Amnesty가 친-Anthropic 편향이라는 말을 하려는 건 아니지만, 왜 그 목록에 포함하지 않았는지 혼란스러움. 보고서가 OpenAI, Google, Meta 등은 구체적 피해 사례 출처와 함께 여러 번 언급했기 때문에 그 목록이 만들어진 것일 수도 있고, Anthropic에 대해서는 비슷한 출처가 없었을 수도 있지만 그래도 이상하게 느껴짐 -
Amnesty는 예전의 Amnesty가 아닌 것 같음
-
이 브리핑은 생성 AI 제품 공급망 중 데이터 파이프라인에 초점을 맞추고, 특히 데이터 수집·분석·처리 단계에 집중한다고 밝힘
또한 Amnesty International은 독립형 생성 AI 도구를 AI 챗봇, 이미지·동영상·오디오·텍스트 생성기처럼 생성 AI 기능만을 위해 개발·배포·마케팅되는 제품으로 정의하고, 워드프로세서의 선택적 생성 AI 기능처럼 더 큰 제품군에 추가된 기능은 제외한다고 함