Microsoft에게 묻다: 우리의 개인 데이터를 AI 훈련에 사용하고 있나요?

• Microsoft의 새 서비스 약관(Service Agreement) 을 변호사·개인정보 전문가·캠페이너 등 9명이 검토했으나, 개인정보를 AI 모델 학습에 사용하는지 누구도 판별하지 못함
• 검토 대상에는 Office, Skype, Teams, Xbox 등 130개 제품에서 수집되는 오디오, 영상, 채팅, 첨부파일 등 개인정보가 포함
• 개인정보 전문가 9명조차 이해하지 못하는 약관을, 일반 사용자가 파악할 가능성은 사실상 없음
• Mozilla는 Microsoft에 "개인정보를 AI 학습에 사용하는가"라는 단순한 질문에 명확히 답할 것을 요구
• 데이터 활용에 대한 투명성 부재가 핵심 문제로 제기됨

---

캠페인 핵심 문제 제기

• Microsoft의 새 서비스 약관을 변호사 4명, 개인정보 전문가 3명, 캠페이너 2명이 검토함
  • 9명의 전문가 중 누구도 Microsoft가 개인정보를 AI 모델 학습에 사용할 계획인지 판별하지 못함
• 약관의 모호성으로 인해 데이터 활용 여부 확인 불가
  • 개인정보 전문가 9명도 이해하지 못하는 약관을 평균적인 일반인이 이해할 가능성은 없음

검토 대상 데이터 범위

• 130개 제품에서 수집되는 개인정보가 대상
  • 포함 제품 예시: Office, Skype, Teams, Xbox
  • 데이터 유형: 오디오, 영상, 채팅, 첨부파일

Mozilla의 요구

• Microsoft에 개인정보를 AI 학습에 사용하는지 직접 밝힐 것을 요청
• 사용자의 행동(서명) 참여를 통해 답변을 촉구하는 캠페인 진행

[GN⁺]

Hacker News 의견들

• 빅테크 규제 구조는 완전한 재앙임
  전 세계 상당수 사람의 디지털 접점을 사실상 두 기업이 장악하게 둬서는 안 됨
  이들이 불투명하고 추적하기 어려운 방식으로 지위를 남용하지 않을 거라고 믿을 이유가 전혀 없음. 조 단위 자본을 가진 영리 기업이고, 중간 규모 국가도 위협할 수 있는 변호사와 로비스트 군단을 거느렸으며, 무능하고 혼란스럽고 포획된 규제·정치 시스템의 약점을 모두 이용할 것임
  주주를 위해 그렇게 해야 한다는 압박이 있고, 그 주주들은 이런 독점적 양강 구조가 디지털 미래 전체를 망가뜨리든 말든 포트폴리오에 기술 “승자” 몇 개를 넣고 싶어 할 뿐임. 진지한 조치가 늦어질수록 나중에는 더 어려워짐

  • “주주를 위해 법적으로 그렇게 해야 한다”는 말은 현실적 근거가 없는 오래된 속설 아닌가?
  • 기회를 이용하려는 욕구가 대기업에만 있는 건 아니라고 봄. 작은 사업체나 주택소유자협회 같은 아마추어 조직의 사소한 다툼에서도 권력 장악 시도는 보임
    도구만 달라질 뿐, 그런 행동을 밀어붙이는 인간의 특성은 늘 존재함. 자산이 일정 수준을 넘으면 갑자기 켜지는 스위치 같은 건 없음
    또한 기업들이 누군가에게 “법적으로 의무”를 진다거나, 심지어 “의무” 자체가 있다고도 보지 않음. 경영진은 손에 닿는 도구를 써서 목표를 달성하려 하고, 실제로 그렇게 함
  • 기술 기업도 탓하지만, 이 모든 것을 만든 프로그래머, 기술 스타트업, 컴퓨터 과학도 탓함. 초고효율 부의 집중 장치로 쓰기 너무 쉬운 시스템을 만들었고, 지금의 기술 기업들은 그 결과임

• Hacker News에서 본 것 중 가장 Kafka식으로 부조리한 스레드임
  분석 데이터가 개인정보에 해당한다면 Microsoft는 분명 분석 데이터를 사용함: https://www.microsoft.com/insidetrack/blog/microsoft-uses-an...
  Microsoft가 Gmail 계정, Word 문서, 포르노 활동을 읽어서 OpenAI에 넣고 있느냐면, 약관상으로는 그렇지 않음: https://learn.microsoft.com/en-us/legal/cognitive-services/o...
  다만 Microsoft가 일반적으로 알 수 없는 일들을 하고 있느냐면, 그렇다고 봄

• 오래전부터 Microsoft의 미로 같은 개인정보 처리방침에 반대해 왔음
  예전에 “AI” 코딩 도우미가 널리 쓰이기 전 다른 포럼에서, VS Code에서 원격 측정을 켠 경우 Microsoft의 개인정보 처리방침이 내 코드를 업로드하고 활용하는 것을 허용하는지 물은 적이 있음
  당시에는 말도 안 된다는 반응과 함께 묻혔지만, Microsoft 약관이나 개인정보 처리방침 어디에도 그런 종류의 처리를 명확하고 투명하게 제외한다고 보여준 사람은 없었음
  요즘은 가능한 모든 대규모 데이터셋으로 기계학습 모델을 학습시키려는 집착이 생겼으니, 예전의 조심스러움이 이제는 그렇게 우스워 보이지 않을 수도 있음

  • 이런 정책 문서는 회사가 스스로 무엇을 제한하는지 알려주려고 있는 게 아님. 서비스를 계속 사용해서 정책에 동의했다는 이유로, 회사가 무언가를 하지 못하게 막으려는 이용자에게 맞서는 방어 수단으로 존재함
    “우리는 X를 하지 않겠다”고 말하는 데 상업적·법적 이점이 있는 경우가 아니라면, 대기업은 의식적으로 자기 자신에게 그런 제한을 걸지 않음

• 참고로 Microsoft의 예정된 서비스 계약 전문은 여기 있음
  https://www.microsoft.com/en-us/servicesagreement/upcoming.a...
  변경 사항 요약은 여기 있음
  https://www.microsoft.com/en-us/servicesagreement/upcoming-u...

  • 여전히 “Microsoft 제품과 서비스를 개선하기 위해, 귀하는 귀하의 콘텐츠를 사용할 수 있는 전 세계적이고 로열티 없는 지식재산권 라이선스를 Microsoft에 부여한다”는 문장이 들어 있음
    명시적인 제한은 표적 광고에 대해서만 보임. “이메일, 채팅, 화상 통화나 음성 메일에서 말한 내용, 문서, 사진 또는 기타 개인 파일을 이용해 귀하에게 광고를 표적화하지 않는다”는 식임
    변경 사항 요약에는 개인정보 처리방침 변경이 언급되지 않고, 그 개인정보 처리방침도 사용자 데이터로 AI 모델을 학습하는 것을 배제하는 것처럼 보이지 않음

• 광고 업계에서 일해 봤고, 개인식별정보 관련 법은 흥미로움. California에는 CCPA가 있어서 양식을 통해 내 개인식별정보 삭제를 요청하면 90일쯤 뒤 삭제해야 하는 것으로 알고 있음
  그런데 California 거주자의 개인식별정보로 모델을 학습시킨 뒤 삭제 요청이 들어오고, 3개월 뒤 누군가 그 사람에 대해 물었을 때 모델이 “삭제된” 개인식별정보를 뱉으면 어떻게 되는가?
  결국 법정에서 결정될 일 같지만, California 법에 밝은 사람이 있다면 왜 합의금 노리고라도 이런 걸 겨냥하는 시도가 아직 없는지 궁금함

  • 그들은 그냥 부인할 것임. 또는 학습된 모델에서 복구가 불가능하다고 주장할 것임
    California 법은 모르지만, 비슷한 개인정보 보호법들 상당수는 “삭제” 요청을 받아도 집계 데이터에는 예외를 허용함
  • CCPA는 잘 모르지만 EU 법은 알고 있음. 현재로서는 “삭제권/잊힐 권리”가 이 부분에서 매우 모호하고, 널리 자리 잡은 판례도 없어 보임
    일반적으로 법은 원시 데이터 기록에 적용되고, 집계 데이터나 지표, 모델에는 적용되지 않음. 다만 여기서 모델이라는 말은 보험이나 신용평가 업계 관련 특정 판결 하나에 근거한 것으로 기억함
    모델이 삭제된 데이터를 “뱉어낼” 필요도 없음. 생성 모델이 아니라 분류기나 회귀 모델일 수도 있고, 이상적으로는 애초에 내 데이터로 학습하지 않았어야 함
    기술적으로도 어렵다는 점이 중요함. 모델 하나가 매우 큰 비용 X를 들여 만들어졌고 보통 6개월마다 재학습한다고 해보자. 그런데 삭제 요청이 계속 들어오면, 이를 지키려고 자주 재학습하는 건 너무 비쌈
    이를 효율적으로 처리하려는 기계 언러닝(machine unlearning) 연구가 있지만, 지금까지는 꽤 실망스러움
  • 애초에 그 안에 내 개인식별정보가 들어 있고, 식별 가능한 부분이 제거되지 않았다고 왜 가정하는지 모르겠음
    개인적인 부분이 사라졌다면 청구할 근거가 있는지 잘 모르겠음

• Microsoft 법무팀은 어떻게 이런 위업을 달성하는 걸까? 충분히 큰 팀, 예컨대 Microsoft나 대배심 정도만 의미를 추출할 수 있을 만큼 언어적 추상화 층을 쌓아둔 걸까?
  겉보기엔 무해한 곳에 함정을 숨겨 둔 미끼 문장들인가? 아니면 빙빙 돌려 말하면서 절대 정확한 답을 주지 않는 방식인가?

  • 수백만 달러 규모를 넘어서면 변호사 팀은 사실상 법률 레드팀이 됨. 기존 제한을 우회할 방법을 찾는 임무를 맡고, 실제로 찾아냄
  • Microsoft 법무팀이 어떻게 그런 일을 해내느냐고? 누가 막을 건데?
  • M$가 뭐임?

• 어떤 사용을 명시적으로 제외하지 않았다면, 그 데이터가 유용한 한 결국 학습 데이터로 쓰인다고 봐도 됨. 지금 당장이 아니더라도 언젠가는 그렇게 됨. 지구상에서 데이터를 쌓아두는 모든 회사에 해당함
  모두의 기본 가정은 이래야 하고, 법이 생기지 않는 한 대체로 정확할 것임. 법이 생겨도 관할권 우회 때문에 과거 데이터에는 무력할 수 있고, 새 데이터도 약하게만 보호할 가능성이 큼
  새로운 석유에 온 걸 환영함

• 개인정보와 개인식별정보는 다름. 여러 면에서 개인정보 사용은 피할 수 없음
  예측 입력은 개인정보를 사용함. 모두에게서 “학습”하기 때문임. 문장과 문단은 개인정보인가? 검색엔진은 내가 입력한 것을 기록함. 검색어를 “개인적”이라고 분류할 것인가? 이 스레드의 첫 댓글을 복사해 붙여넣을 수도 있는데, 그것도 개인정보인가?
  내가 완전히 틀렸을 수도 있고, 웹페이지에 아무것도 입력하지 말아야 할지도 모름
  네 명의 변호사와 세 명의 개인정보 전문가도 개인정보가 무엇인지 결론을 내리지 못한 것처럼 보였음. 빅테크가 사람들이 만든 데이터를 “AI” 도구에 넣느냐면 그렇다. 작은 기술 회사들도 그러느냐면 그렇다
  Mozilla와 함께 쇠스랑을 들 준비는 되어 있지만, 무엇 때문인지 알고 싶음. 군중을 선동하기보다 내 이익을 어떻게 보호하는지 명확히 말하는 사람들이 필요함
  데이터, 어떤 데이터든 사용은 계약의 적용을 받음. Hacker News를 쓰면서 동의한 “법률 문서”도 읽어보면, 개인정보 사용 방식에 대한 섹션이 통째로 있음. HN에도 쇠스랑을 들어야 하나, 아니면 여긴 괜찮은 건가?

  • Microsoft는 수년간 Linux를 죽이려 했고, 아직도 칼을 갈고 있음

• 이 중 무엇이 “AI 학습”인가?
  악용 탐지 시스템이 악성 이용자를 사람 검토로 넘기기 위해 사용자 행동과 데이터로 학습되는 것, 웹 검색을 할 때 순위 함수가 모든 사용자 행동으로 학습되는 것, 이메일 작성기가 내 입력 이력을 바탕으로 완성을 제안하는 것, 대중에게 공개된 LLM 채팅 인터페이스가 내 비공개 이메일로 학습되는 것
  “AI 학습”은 대부분의 경우 개인정보 처리방침에 들어갈 성격이 아닌 구현 세부사항에 가까움. Mozilla가 어떤 행동을 걱정하는지 더 명시적으로 말했으면 좋겠음

• 그렇다, 거대 기업들은 그렇게 하고 있고 앞으로도 그럴 것임. 어떤 대기업이 우리의 최선의 이익을 생각하고 지배구조도 완벽하게 갖췄다고 믿는다면, 하하, 정말 크게 하하임