GN⁺: Copilot+ Recall은 2줄의 코드만으로 윈도우의 모든 입력과 보고 있는 것을 훔치는게 가능

• Copilot+ Recall: Microsoft Windows 11의 새로운 기능으로, 사용자의 PC 화면을 지속적으로 캡처하여 모든 활동을 검색 가능한 데이터베이스로 만듦.
• 사용자가 이전에 본 모든 내용을 쉽게 검색할 수 있게 함.
• 대부분의 사용자들이 이 기능에 대해 부정적인 반응을 보임. 개인 정보 보호에 대한 우려와 사용자의 사생활 침해 가능성 때문

Copilot+ Recall의 잠재적 사용자

• 많은 할 일과 시간 부족으로 고민하는 회사 관리자에게는 한 달 전에 특정 주제로 무엇을 했는지 즉시 검색할 수 있어 유용할 수 있음
• 그러나 이는 Windows 사용자 기반의 매우 작은 부분에 불과함
• 대부분의 Windows 사용자는 게임을 하고, 포르노를 보고, 실수를 저지르는 인간으로서의 삶을 살기를 원함
• 다른 사람이 자신의 기기에 접근해 사진으로 기록된 개인의 기억을 볼 수 있다는 생각은 많은 사람들에게 깊은 수준에서 매우 두려운 일임

Microsoft의 실수

• Microsoft는 AI의 이름으로, 그리고 실제 고객에게 해를 끼치는 방식으로 자해 행위를 하고 있음
• Copilot 브랜드 전체에 불을 지를 수 있음
• 이 기능이 Windows의 보안 약속을 근본적으로 깨뜨린다는 점을 지적함

[ Copilot+ Recall의 보안 문제에 대한 Q&A ]

Q. 데이터는 랩톱에서 완전히 로컬로 처리되는 것 아닌가?

• 맞음. Azure AI 등의 코드가 에지에서 처리되도록 하는 스마트한 결정을 내렸음

Q. 그럼 해커와 멀웨어는 접근할 수 없는 것 아닌가?

• 아니요, 접근 가능함

Q. 하지만 암호화되어 있잖아?

• PC에 로그인하고 소프트웨어를 실행하면 사용자를 위해 해독됨
• 저장 시 암호화는 누군가 물리적으로 랩톱을 훔쳐갈 때만 도움됨
• InfoStealer 트로이 목마와 같은 것들은 10년 넘게 큰 문제였고, 이제는 Recall을 지원하도록 쉽게 수정될 수 있음

Q. Microsoft는 오직 사용자만 데이터에 접근할 수 있다고 했는데?

• 사실이 아님. 같은 기기의 다른 사용자 계정이 데이터베이스에 접근하는 것을 보여줄 수 있음

Q. 그럼 어떻게 작동하는 거지?

• 몇 초마다 스크린샷이 찍힘
• Azure AI에 의해 자동으로 OCR되어 사용자 폴더의 SQLite 데이터베이스에 기록됨
• 이 데이터베이스 파일에는 사용자가 PC에서 본 모든 것의 기록이 일반 텍스트로 저장됨

Q. 데이터베이스는 어떻게 생겼나?

• Microsoft는 언론 매체를 통해 해커가 Copilot+ 리콜 활동을 원격으로 유출할 수 없다고 밝혔음
• 하지만, 실제로는 PC에서 본 모든 내용이 담긴 이 Plain 텍스트 데이터베이스임. 아주 쉽게 자동화해서 유출가능

Q. 데이터베이스 파일은 어떻게 얻나?

• AppData의 새로운 CoreAIPlatform 폴더에 있는 파일들임

Q. 하지만 고도로 암호화되어 있어 아무도 접근할 수 없는 거 아닌가?!

• Microsoft 엔지니어 두 명이 Recall 데이터베이스 폴더에 접근하여 SQLite 데이터베이스를 해킹하는 동영상에서 확인 가능
• 시스템 권한도 필요하지 않음

Q. 하지만 일반 사용자는 관리자로 실행하지 않잖아!

• Microsoft 자체 웹사이트의 Recall 출시 페이지에 따르면 그렇다고 함
• 사실 데이터베이스를 읽기 위해 관리자일 필요도 없음

Q. 하지만 그 영상에서는 UAC 프롬프트가 나왔는데, 그건 보안 경계 아닌가?

• Microsoft 자체 웹사이트와 MSRC에 따르면 UAC는 보안 경계가 아님

Q. 그럼 여기서 보안은 어디에 있는 거지?

• 현실 세계에서는 비행기를 몰고 갈 수 있을 만큼의 공백이 있어서 제대로 작동하지 않음

Q. 재무 정보 같은 것은 자동으로 스크린샷을 찍고 OCR하지 않나?

• 아니요
• 문서에 의하면, Recall은 콘텐츠 수정을 하지 않음
• 암호/은행 계정번호등을 숨기지 않음
  • 해당 사이트가 표준 인터넷 프로토콜(암호를 * 처리하는 등의 작업)을 지키지 않았을 경우

Q. 데이터베이스의 크기는 어느 정도인가?

• 압축이 잘 되어 며칠 작업 분량이 약 90kb 정도
• 평균적인 광대역 연결로 몇 초 안에 몇 달 분량의 문서와 키 입력을 유출시킬 수 있음

Q. 검색 속도는 어떤가?

• 기기 내에서는 매우 빠름

Q. 당신의 Recall 데이터베이스를 유출시켜 봤나?

• 그렇다. 자동 유출을 했고, 데이터베이스를 업로드해 즉시 검색할 수 있는 웹사이트를 만들었음
• Microsoft가 기능을 출시할 때까지 시간을 주기 위해 기술적 세부 사항은 의도적으로 공개하지 않고 있음
• 실제로 보여줄 것이 많고, 이 기능이 일반에 공개되면 더 많은 사이버 커뮤니티가 이 기능을 매우 재미있게 사용할 것이라고 생각하지만, 실제 피해가 발생할 수 있기 때문에 정말 슬픈 일이라고 생각

Q. 데이터베이스에는 어떤 종류의 것들이 있나?

• 사용자가 본 모든 것이 응용 프로그램별로 정렬되어 있음
• 사용자가 본 모든 텍스트 (Microsoft Edge InPrivate 모드는 제외되지만 Google Chrome은 제외되지 않음)
• 창 최소화와 같은 모든 사용자 상호 작용
• 사용자 활동 API가 있고, 제3자 앱이 데이터를 보충하고 저장된 데이터를 볼 수 있음
• 제3자라도 방문한 모든 웹사이트를 저장함

Q. 이메일/WhatsApp/Signal/Teams 메시지를 삭제하면 Recall에서도 삭제되나?

• 아니요, 데이터베이스에 무기한 남아 있음

Q. 메시징 앱에서 자동 삭제되는 메시지는 Recall에서 제거되나?

• 아니요, Recall에 의해 긁어져 사용 가능함

Q. 그럼 이걸로 웹사이트의 대규모 데이터 유출이 가능한가?

• 그렇다. 앞으로 고객 데이터가 명백히 유출된 대규모 데이터 유출 사건이 발생하면, 데이터를 처리한 회사에 책임이 있다고 생각할 것임
• 하지만 Recall이 있는 Windows 기기를 사용해 서비스/앱 등에 접속했다면, 해커는 모든 것을 볼 수 있고 서비스를 운영하는 회사조차 모르게 데이터 덤프를 만들 수 있음
• 데이터는 이미 Recall 데이터베이스에 일관되게 구조화되어 있어 공격자들이 사용하기 쉬움
• AI 기반 초대형 유출 사고에 대비해야 함

Q. Microsoft가 BBC에 Copilot의 보안에 대해 오해를 주게 했나?

• 그렇다.

Q. Microsoft가 고객들에게 Copilot의 보안에 대해 오해를 주게 했나?

• 그렇다. 예를 들어 선택적 경험이라고 설명하지만, 기본적으로 활성화되어 있고 사람들이 선택적으로 비활성화할 수 있음
• Microsoft CEO는 이 제품에 대해 "스크린샷"이라고 언급했지만, 제품 자체는 "스냅샷"이라는 용어만 사용함
• Microsoft는 고객이 정보에 입각한 선택을 할 수 있도록 이것이 무엇인지 명확히 해야 함

Q. Recall은 하드웨어 장치 1대에만 적용되는 거 아닌가?

• 사실이 아님. 현재 모든 주요 제조업체에서 주문 가능한 10개의 Copilot+ 장치가 있음
• 또한 Microsoft 웹사이트에서 AMD와 Intel 칩셋 지원을 위해 노력하고 있다고 함
• Recall은 Windows 11에 적용될 예정임

Q. Recall은 어떻게 비활성화하나?

• 호환되는 Copilot+ 장치의 초기 설정에서 Recall을 비활성화하는 옵션을 클릭해야 함
• 엔터프라이즈에서는 기본적으로 활성화되어 있으므로 Recall을 끄려면 정책 설정이 필요함 "Turn off Saving Snapshots for Windows"

Q. 프라이버시 영향은? GDPR에 위배되는 것 아닌가?

• 저는 프라이버시나 법률 전문가가 아님
• 제가 이야기를 나눈 프라이버시 전문가들은 가정 폭력 상황 등에서의 가구에 미치는 영향을 매우 우려하고 있음
• 기업 관점에서 이런 식으로 고객 데이터를 처리하는 위험을 고려해야 함
• Microsoft는 에지 기기에서 처리되므로 데이터 처리자로서 책임지지 않을 것임

Q. 마이크로소프트는 크고 사악한 회사인가요?

• 아니요
• 그들은 매우 똑똑한 사람들이고 때로는 매우 똑똑한 사람들이 실수를 하기도 함. 중요한 것은 그들이 실수를 알고 무엇을 하느냐임

Q. Microsoft를 싫어하는 전직 직원이 아니었나요?

• 아니요, 이번 달에 Microsoft를 칭찬하는 블로그를 썼을 뿐

Q. 정말 생각만큼 해로운가요?

• 부모님 집, 조부모님 집 등에 가서 Windows PC를 살펴보고 지난 1년간 설치된 소프트웨어를 살펴본 후 디바이스를 사용해 보고, 바이러스 백신 검사를 실행해 볼 것
• 1조 달러 규모의 보안 산업이 존재하고 대부분의 문제가 멀웨어와 엔드포인트를 중심으로 발생하는 데에는 그만한 이유가 있음

Q. Microsoft가 해야 할 일은?

• 제 의견으로는 Recall을 리콜하고 나중에 제공할 수 있도록 제대로 된 기능으로 재작업해야 함
• 또한 이런 상황을 초래한 내부 의사 결정을 검토해야 함
• 이달 초 Microsoft CEO는 모든 직원에게 "보안과 다른 우선순위 사이에서 선택해야 한다면, 답은 명확합니다. 보안을 선택하세요"라고 이메일을 보냈음
• 그가 그 이메일의 내용을 진지하게 받아들이는지 알게 될 것임
• 지금 타격을 감수하고 겸손해져야 하며, 그렇지 않으면 Copilot과 보안 브랜드에 대한 고객의 신뢰를 위험에 빠뜨릴 수 있음
• 솔직히 Recall을 즉시 사용할 수 없다고 울부짖는 고객은 거의 없겠지만, Microsoft의 반응이 아무 것도 하지 않거나 제품을 출시하거나 약간 수정하거나 언론에서 문제를 둘러대는 것이라면 심각하게 우려할 것임

[neo]

Hacker News 의견

• Microsoft의 전략: Microsoft는 처음에 강하게 밀어붙여서 나중에 완화된 해결책을 제시하는 방식으로 목표를 달성하려는 전략을 사용 중임.

• Windows와 ChromeOS 경험: 과거 Microsoft에서 일했던 경험을 바탕으로, Windows는 나쁘지 않은 운영체제였음. 하지만 ChromeOS를 시도해보다가 결국 Debian으로 돌아옴.

• Linux로의 전환: 최근 Framework 16 노트북에 Arch Linux와 Steam을 설치하여 게임을 원활하게 실행하고 있음. 이제 Microsoft 제품에서 완전히 벗어났다고 느끼고 있음.

• Microsoft의 이미지 변화: GitHub 인수와 Linux 서브시스템 도입으로 Microsoft가 멋진 회사로 보였지만, 최근의 Recall 기능과 Windows 10 설치 시 필수 계정 로그인으로 인해 다시 부정적인 인식을 가지게 됨.

• Recall 기능의 문제점: Microsoft가 과거에는 타사 소프트웨어와의 호환성을 유지하기 위해 노력했지만, 이제는 사용자 프라이버시를 침해하는 Recall 기능을 도입하여 실망스러움.

• Steve Jobs와 Microsoft: Steve Jobs는 제품에 대한 사람들의 감정을 이해했지만, Microsoft는 그렇지 않음. 과거에도 사용자 감정을 고려하지 않았고, 지금도 변하지 않은 것 같음.

• 프라이버시 우려: 프라이버시 문제는 심각하며, 상황이 더 나빠지기 전에 개선될 가능성이 있음. 하지만 이 기능이 잘 구현되면 현대 AI의 킬러 앱이 될 수 있음.

• 정보 접근의 중요성: 좋은 정보 접근은 강력한 능력임. 개인 정보는 매우 가치가 있으며, 이를 저장하고 자동으로 접근할 수 있는 방법이 필요함. 시간이 지나면서 이에 적응할 필요가 있음.

• 스파이 장치: 2017년에는 사람들이 자발적으로 스파이 장치를 집에 들였고, 2024년에는 키로거를 활성화하고 있음.

• 영화 'Antitrust'와 현실: 2001년 영화 'Antitrust'는 Microsoft와 유사한 회사가 모든 컴퓨터를 모니터링하고 코드를 훔치는 내용을 다루었음. 23년 후, 현실이 됨.