GN⁺: 나이트쉐이드: AI 아트 생성기에 대항하는 예술가들을 위한 공격적 도구
(nightshade.cs.uchicago.edu)나이트쉐이드란 무엇인가
- 생성 AI 모델과 트레이너들은 온라인 콘텐츠를 모델 훈련에 사용할 수 있는 능력을 보여줌.
- 콘텐츠 소유자와 창작자들은 자신의 의지와 상관없이 그들의 콘텐츠가 생성 AI 모델에 훈련 데이터로 사용되는 것을 막을 수 있는 도구가 거의 없음.
- 나이트쉐이드는 이미지를 모델 훈련에 부적합한 데이터 샘플로 변환하는 도구로, 저작권을 무시하고 데이터를 무단으로 스크레이핑하는 모델 트레이너들을 억제하는 데 도움을 줌.
나이트쉐이드의 작동 방식과 한계
- 나이트쉐이드는 이미지를 '독' 샘플로 변환하여, 동의 없이 훈련하는 모델들이 예상치 못한 행동을 배우게 함.
- 이 도구는 모델을 파괴하려는 것이 아니라, 라이선스되지 않은 데이터로 훈련하는 비용을 증가시켜 창작자로부터 이미지를 라이선스하는 것이 실현 가능한 대안이 되도록 함.
- 나이트쉐이드는 스타일 모방 방어를 위한 글레이즈와 유사하게 작동하지만, 글레이즈가 방어적 도구인 반면 나이트쉐이드는 공격적 도구로 설계되어 AI 이미지 모델 내의 특징 표현을 왜곡함.
나이트쉐이드 대 글레이즈
- 글레이즈는 개별 예술가들이 스타일 모방 공격으로부터 자신을 보호하기 위해 사용하는 방어적 도구임.
- 나이트쉐이드는 예술가들이 그룹으로 사용하여 동의 없이 이미지를 스크레이핑하는 모델을 방해하는 공격적 도구임.
- 예술가들은 자신의 작품을 온라인에 게시할 때 글레이즈와 나이트쉐이드를 모두 적용하는 것이 이상적임.
위험성과 한계
- 나이트쉐이드에 의한 변경 사항은 평평한 색상과 부드러운 배경을 가진 예술 작품에서 더 눈에 띔.
- 보안 공격이나 방어와 마찬가지로 나이트쉐이드는 장기간 미래에 대한 증거가 될 가능성이 낮음.
- 나이트쉐이드는 네트워크 없이 실행되도록 설계되어 데이터나 예술 작품이 우리나 다른 이에게 전송되지 않음.
나이트쉐이드와 웹글레이즈
- 나이트쉐이드 v1.0은 독립적인 도구로 설계되었으며, 글레이즈와 같은 모방 방어 기능을 제공하지 않음.
- 나이트쉐이드와 글레이즈가 함께 어떻게 작동하는지 테스트 중이며, 준비가 되면 웹글레이즈에 나이트쉐이드를 추가 기능으로 출시할 예정임.
GN⁺의 의견
- 나이트쉐이드는 창작자들이 자신의 저작권을 보호하고, 무단으로 이미지를 사용하는 AI 모델 트레이너들에게 경고를 보낼 수 있는 혁신적인 도구임.
- 이 도구는 창작물의 무단 사용을 억제하고, 저작권자와의 라이선스 계약을 장려함으로써 디지털 예술 생태계에 긍정적인 영향을 미칠 수 있음.
- 나이트쉐이드와 글레이즈의 결합은 예술가들이 자신의 작품을 온라인에서 보다 안전하게 공유할 수 있는 새로운 방법을 제공함.
Hacker News 의견
- 논문 링크: arXiv:2310.13828
- 이 논문은 많은 예술가들이 받아들이기 어려울 수준의 아티팩트를 도입하는 것으로 보임.
- 이 기술은
- a) 지난 세대의 훈련 프로세스에서는 겨우 작동하며,
- b) 최신 훈련 프로세스(GPT-4V, LLaVA, BLIP2 라벨링 등)에서는 전혀 작동하지 않음.
- c) 효과적이고 인기를 얻게 된다 해도 쉽게 대처할 수 있을 것으로 예상됨.
- 저자들의 이전 작업인 Glaze도 효과적이지 않은 것으로 보이며, 실제보다 과대평가된 결과일 수 있음.
- 이러한 도구들이 시장에서 성공할 가능성은 없으며, 인간의 인식에 영향을 주지 않고도 즉시 우회할 수 있는 방법이 있음.
- 예술가들이나 다른 사람들이 인간의 결과물을 훈련에 사용하는 것을 막으려면 법적 조치를 통해야 함.
- 이것도 완벽한 해결책은 아니며, 오히려 분산 훈련 네트워크 개발을 촉진할 수 있음.
- 이것은 무의미한 "무기 경쟁" 또는 "고양이와 쥐의 게임"으로 보임.
- 예술가들의 의견을 고려하지 않는 사람들은 이미지 후처리를 통해 Nightshade 알고리즘의 섬세한 변경을 파괴할 수 있음.
- 미래에는 법원이 사회적 압력으로 인해 예술가들의 편에 서게 될 것이며, 예술가들은 자신의 스타일과 "너무 유사한" 생성 이미지에 도전할 수 있을 것임.
- 아니면 예술가들은 이미지 자체의 수익 창출을 포기하고 물리적인 작품 창작에만 집중할 수도 있음.
- 안 좋은/일관성 없는 이미지로 Stable Diffusion XL을 미세 조정하는 실험을 통해, 이러한 이미지를 부정적 프롬프트로 사용하면 모델이 더 나은 이미지를 출력할 수 있음을 보여줌.
- 이러한 데이터셋을 만드는 것이 역설적으로 생성 AI 예술 모델을 개선하는 데 도움이 될 수 있음.
- 저작권/지적 재산권/특허 사용에 대한 점진적인 수수료 부과를 원함.
- 예를 들어 수익에 연동된 비율로 라이선스 수수료 적용을 원함.
- 개인이 소유한 경우 사망 후 0년, 기업이 소유한 경우 최대 20-30년의 저작권 기간을 원함.
- 사용 미신고/수수료 미납에 대한 기업에 대한 벌금을 매우 높게 설정하여 절도를 방지하고자 함.
- 예술가들이 다른 예술가의 작품을 보며 다양한 스타일을 배우는 것과 AI가 그들의 작품에서 스타일을 배우는 것을 방어하는 것 사이의 모순을 지적함.
- 이는 '정보의 정확성'에 대한 개념을 약화시키며, 끊임없는 공격과 방어의 게임을 인정함.
- 곧 많은 사람들이 고품질의 예술 작품을 손쉽게 만들 수 있게 될 것이며, 이는 매우 흥미로운 전망임.