마이크로소프트 자살 시도 의혹

마이크로소프트의 새로운 기능, CoPilot+와 Recall

주요 내용 요약

• AI의 확산:

  • 최근 기술 뉴스는 AI(인공지능)의 확산에 집중하고 있음.
  • 많은 기업들이 AI를 제품에 추가하려는 움직임을 보이고 있음.

• CoPilot+ 소개:

  • CoPilot+는 마이크로소프트의 LLM(대규모 언어 모델) 기반 윈도우 애드온임.
  • 과거의 클리피(Clippy)와 유사하지만, AI를 활용하여 사용자 작업을 돕는 기능을 가짐.
  • 그러나 LLM의 한계로 인해 정확한 답변을 제공하지 못할 가능성이 있음.

• 윈도우 ARM 프로세서:

  • 마이크로소프트는 인텔에 의존하지 않기 위해 ARM 기반 윈도우를 추진 중임.
  • 새로운 CoPilot+ PC는 강력한 ARM 프로세서를 탑재하여 AI 작업에 적합하게 설계됨.

• Recall 기능:

  • Recall은 사용자가 컴퓨터에서 수행한 모든 작업을 기록하는 기능임.
  • 스크린샷을 찍고, OCR(광학 문자 인식) 및 음성 인식을 통해 텍스트를 추출하여 데이터베이스에 저장함.
  • 저장된 데이터는 암호화되지 않아 보안 문제가 발생할 수 있음.

• 프라이버시 문제:

  • Recall 기능은 사용자 프라이버시를 심각하게 침해할 수 있음.
  • 저장된 데이터에는 사용자 자격 증명, 비밀번호 등이 포함될 수 있음.
  • 법적 절차에서 데이터베이스가 소환될 수 있어 기업과 개인에게 큰 위험이 됨.

• 기타 문제점:

  • Recall 기능은 GDPR 및 HIPAA와 같은 프라이버시 법규를 위반할 가능성이 있음.
  • 마이크로소프트는 이 기능을 윈도우 11 업데이트에 강제로 포함시킬 예정임.

GN⁺의 의견

• 프라이버시 침해:

  • Recall 기능은 사용자 프라이버시를 심각하게 침해할 수 있음. 특히 민감한 데이터를 다루는 기업이나 개인에게 큰 위험이 됨.

• 보안 취약점:

  • 암호화되지 않은 데이터베이스는 해커나 악의적인 사용자에게 쉽게 노출될 수 있음. 이는 보안 사고를 초래할 가능성이 큼.

• 법적 문제:

  • Recall 기능은 GDPR 및 HIPAA와 같은 프라이버시 법규를 위반할 가능성이 높음. 이는 법적 분쟁을 초래할 수 있음.

• 사용자 신뢰도:

  • 마이크로소프트의 이러한 기능 도입은 사용자 신뢰도를 크게 훼손할 수 있음. 이는 장기적으로 기업 이미지에 부정적인 영향을 미칠 수 있음.

• 대안 기술:

  • 사용자 프라이버시를 중시하는 기업들은 Recall 기능 대신 다른 대안을 고려해야 함. 예를 들어, 오픈소스 기반의 보안 솔루션을 도입하는 것이 좋음.

[GN⁺]

Hacker News 의견들

• 보안·프라이버시 우려를 빼고 봐도 Recall은 딱히 AI 기능처럼 느껴지지 않음
  기기 내 OCR과 SQLite 데이터베이스를 만들고 그걸 검색하는 구조 아닌가? 요즘의 느슨한 AI 정의로 봐도 연결이 잘 안 됨. OCR이 기계학습 기반이라서 그런 건가? Recall에 내가 놓친 LLM 구성요소가 있다면, 악성 지시문을 SQLite 데이터베이스에 색인시킨 뒤 나중에 LLM에 먹이도록 하는 프롬프트 주입 공격 웹사이트도 만들 수 있는지 궁금함

  • AI 연구자들이 어떤 일을 가능하게 만들 때마다, 그건 “불가능한 SF”에서 “그건 진짜 AI가 아님”으로 바뀐다는 얘기는 오래전부터 있었음
    실제로 그런 반응을 마주치니 이상함. OCR도 한때는 괜찮은 품질로는 불가능하다고 여겨졌고, 그래서 포럼 봇 로그인을 막으려고 CAPTCHA를 썼음. 처음엔 텍스트였고, 점점 더 왜곡돼 인간도 읽기 힘들어졌고, 집 번호, “XYZ가 있는 사진을 모두 클릭”으로 바뀌다가, 결국 마우스 커서 위치와 방문 사이트를 보는 분석으로 거의 사라짐
  • 스스로 답을 찾아보니, 단순 OCR을 넘어선 의미 분석이 어느 정도 들어간 것 같고, 그래서 현재의 느슨한 용례로는 AI 기능이라고 볼 수 있어 보임
    단서는 이 데모 https://www.youtube.com/watch?v=aZbHd4suAnQ&t=1062s에서 “blue pantsuit with sequin lace”를 검색하자 텍스트에는 “peacock”이라고 설명된 항목을 찾아낸 장면임. 이미지 임베딩에 대한 임베딩 검색으로 보임
    그리고 Recall이 만드는 SQLite 데이터베이스 3개 중 하나가 “SemanticImageStore”라서, 기기 내에서 CLIP 스타일의 이미지 임베딩 모델을 돌리는 것 같음. 그 데이터베이스에는 “diskann” 열도 있는데, Microsoft의 벡터 색인 라이브러리 https://github.com/microsoft/DiskANN을 가리키는 듯함
  • 데모를 보면 화면에 “Blue bag”이라는 단어가 없어도 검색할 수 있음
    예컨대 PowerPoint 슬라이드 사진 안에 파란 가방이 있으면 찾아냄
  • “컴퓨터가 풀지 못할 수도 있는 문제”에 가까운 AI 정의를 쓰는 듯함
    OCR은 우리가 방법을 알기 전에는 분명 AI로 여겨졌음. 이제 이해했으니 “그냥 컴퓨팅”이 됐지만, 다른 AI 정의로 봐도 여전히 AI로 보는 게 합리적임
  • 아마 RAG가 들어갔을 가능성이 큼

• Recall이 EU에서 아직 완전히 불법이 아니라면, Microsoft는 출시부터 EU 전역 금지 법안까지 아무 제한 없는 속도전 중인 셈임
  EU가 이걸 역내에서 허용할 시나리오는 없어 보임. 학대적인 배우자에게 악용될 수 있다는 매우 타당한 우려만으로도 정치적 명분이 충분함. 그런 식으로 포장된 법안에 반대해 줄 유럽의회 의원은 한 명도 찾기 어려울 것 같고, 새로 선출된 의원들도 복잡하고 어려운 일들 사이에서 손쉬운 승리를 반길 것임

  • 왜 Recall이 EU에서 불법이어야 함?
  • 유럽 시민들이 이 기능을 원하면 어떡함? 선택권도 없는 건가?

• 이미 지적된 여러 논리적 오류 외에 하나 더 추가하고 싶음
  이 얘기는 Microsoft의 미래가 Windows라고 가정함. Satya 이후로는 그렇지 않았다고 봄. 그걸 깨닫고 나면, Windows 기능 하나의 구현 실수와 상관없이 미래는 꽤 밝아 보임

  • 그럼 Microsoft가 제안하는 미래는 뭔가?
    Xbox는 아니고, 그 전쟁에서 지고 있으며 그것도 Windows 기반이었음. 휴대폰도 아니고, 이미 졌고 그것 역시 Windows 기반이었음
    Office도 어려움. 유료 오피스 제품군의 필요성은 줄고 있고, 브라우저의 MS Office는 꽤 별로임
    Azure일 수도 있지만, Azure로 들어가는 큰 진입로는 Microsoft가 기업들을 ActiveDirectory와 Exchange를 클라우드로 옮기게 미는 데 있다고 봄. 그런데 Windows의 종말은 ActiveDirectory의 종말이고, 클라우드 메일·일정에는 대안이 있음. Exchange 때문에 이미 거기 있는 게 아니라면 Azure가 많은 사람에게 매력적인가?
    미래가 밝을 수는 있겠지만, 볼 Windows가 없으면 그 미래를 어떻게 알 수 있겠음? ;p
  • 맞음. Microsoft에는 Office, Azure, XBox, 게임 레이블 등 수십억 달러 규모 매출원이 여럿 있고, 컴퓨팅의 “클라우드” 쪽은 거의 Linux 일색이라 Windows에 투자할 유인이 줄어듦
    WSL, winget, sudo 같은 움직임을 보면 Windows는 명령줄 인터페이스에서 점점 Linux를 흉내 내는 외피로 이동하는 게 분명함
    2000년의 Microsoft는 Windows 9x, 2000, Office였음. 2004년에는 사이트에서 Windows 전용 소프트웨어를 내려받았지만, 2024년에는 Apple 전용이나 Linux 전용 소프트웨어도 흔함
    따지고 보면 “Linux 계열 데스크톱의 해”는 10년도 넘게 MacOS였음. Windows의 파일 경로, Win32 API 같은 마찰에 비해 완전한 Linux로 가는 입문용 마약에 가까움
  • 그 말대로라면 전 세계 데스크톱·노트북의 80%에서 쇠퇴한 운영체제가 돌아가는 셈임
    틀렸다는 건 아니고, 실제로 Windows가 Microsoft 안에서 뒷전이 됐다는 데 동의하지만 꽤 무서운 일임
    새 Exchange Server 라이선스를 보면 Microsoft가 가능한 한 빨리 온프레미스 소프트웨어 사업에서 빠지고 싶어 한다고 봐도 안전함. 다만 세상이 그걸 받아들일 준비가 됐는지, 그게 우리가 원하는 건지는 의문임
  • 맞음. Windows는 이제 거의 손해를 감수하는 미끼 상품에 가까움
  • Windows를 훌륭하게 만들려면 아무도 요청하지 않은 쓰레기들을 걷어내기만 하면 됨
    수상한 안티패턴이 말도 안 되게 많음

• Microsoft나 다른 FAANG이 우리 데이터를 전부 유출해도, 실제로 큰 대가를 치를지는 모르겠음
  데이터 보안 문제로 정말 “망한” 회사가 마지막으로 언제 있었나? 최근 데이터 보안 침해로는 Snowflake, AWS / Capital One이 있음

  • 유출이 일어난다는 건 모두가 이해함
    여기서 지적하는 핵심은 수집하지 않은 것은 유출할 수 없다는 점임. Recall은 Microsoft가 이전에 수집한 것보다 훨씬 더 많은, 훨씬 더 민감한 데이터임
  • Snowflake는 기본 시스템 침해가 아니라 고객 설정 오류였다고 꽤 일관되게 말해왔음
    2010년대 중반 AWS에서 특정 시스템이 기본 공개 상태였고, 수많은 “데이터 유출”이 회사들이 단순히 데이터 버킷을 비공개로 만들지 않아서 발생했던 일이 떠오름
  • 필요한 건 모든 데이터 유출에 대한 크고 의무적인 벌금임
    예를 들어 주소가 유출된 사람마다 1만 달러씩 지급하게 하면, 회사들이 소비자 데이터를 저비용 자산이 아니라 위험으로 다루기 시작할 것임
  • Equifax도 잊으면 안 됨

• 저쪽 웹 서버가 먼저 자살한 것처럼 보임

  • Web Archive 버전: https://web.archive.org/web/20240605120547/https://www.antip...
  • 예전 글에서 antipope.org 블로그 사이트로 들어간 뒤 최신 글로 이동하니 로드됐음
    아니면 방금 문제가 고쳐진 것일 수도 있음

• Microsoft의 최근 분기 실적 보고서에서는 매출 17% 증가가 나왔고, 주가는 지난 1년 동안 거의 25% 올랐음

  • 잘됐네. 고객들이 이런 것에 겁먹고 거래를 거부하기 시작하면 별 의미 없겠지만
  • Microsoft의 운영체제 사업에는 매도 포지션을 잡고, 클라우드 제공자 사업과 OpenAI 투자는 계속 매수 포지션을 유지할 수 있으면 그렇게 하겠음
  • 주가가 지난 1년 동안 거의 25% 올랐다는 건 평균 S&P500만큼 했다는 뜻 아닌가? 기술 대기업이면 더 나아야 한다고 봄

• Microsoft가 자살하고 있는 건 분명 아님. 이 기능이 얼마나 많은 관심을 끌었는지 보라
  모든 기술 매체가 Windows를 이야기하고 있고, Windows가 갑자기 다시 관련성을 얻었음. 이게 어떻게 자살인가?
  자살하는 건 이 기능을 켜 둔 Microsoft 고객들임. 사용자들에게 이 기능의 위험과 끄는 방법을 교육해야 함

  • 누군가 총을 겨누고 “5초 뒤에 쏘겠다”고 말했는데, 몸을 숨기지 않고 서 있다가 맞았다고 해서 자살은 아님
    멍청한 죽음일 수는 있어도, 총을 쏜 사람은 여전히 살인을 저지른 것임. 지금 상황에 꽤 괜찮은 비유라고 느낌
  • 우리는 이미 미끄러운 경사를 넘어섰고, 머리카락에 바람까지 맞고 있음

• HN을 검색해도 못 찾겠지만, 예전에 Recall 비슷한 걸 본 것 같음
  스크린샷 도구가 OCR/탐지를 돌리고, 데이터베이스에 넣어 검색 가능하게 만들었음. GitHub에 오픈소스로 있었음
  덧붙이면 프라이버시 문제는 마음이 갈리지만, 한편으로는 Windows에 다시 ARM을 가져오는 것 같아서 그건 지지함

  • 혹시 이건가? https://news.ycombinator.com/item?id=40538889

• “언어 모델 기술이 우리의 미래를 지배하게 될 것임을 우리는 한동안 알고 있었다”에서 그 우리는 LLM 기술에 더 많은 투자가 들어와야 수입이 생기는 사람들로 정의됨
  나머지 사람들에게는 LLM이 어떤 것의 일반적 해법으로도 절망적으로 결함 있어 보임

• Microsoft가 반드시 자살하고 있다고 보지는 않음
  다만 너무 사후 대응적이고 선제적이지 못하다고 봄. 다시 말해 자기 길을 만들고 기회를 창출하기보다, 기술 흐름을 예측하는 데 지나치게 집중하는 실수를 하는 것 같음
  물론 개발자 도구나 어쩌면 Azure 같은 일부 시장에서는 자기 길을 만들고 있긴 함. 하지만 내가 뭘 알겠나, 멍청한 프로그래머일 뿐임