# 에이전틱 AI는 불안정하고 신뢰할 수 없으며 감시 위험이 크다고 Signal 경영진이 경고 > Clean Markdown view of GeekNews topic #25815. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=25815](https://news.hada.io/topic?id=25815) - GeekNews Markdown: [https://news.hada.io/topic/25815.md](https://news.hada.io/topic/25815.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-01-15T02:33:08+09:00 - Updated: 2026-01-15T02:33:08+09:00 - Original source: [coywolf.com](https://coywolf.com/news/productivity/signal-president-and-vp-warn-agentic-ai-is-insecure-unreliable-and-a-surveillance-nightmare/) - Points: 2 - Comments: 1 ## Topic Body - **운영체제 수준에 통합된 에이전틱 AI**가 개인의 디지털 활동 전체를 기록하고 악성코드에 노출될 수 있다는 점이 주요 위험으로 지적됨 - Signal의 **Meredith Whittaker**와 **Udbhav Tiwari**는 39번째 Chaos Communication Congress에서 이러한 AI가 **보안·신뢰성·감시 측면에서 모두 취약**하다고 발표 - Microsoft의 **Recall 기능**은 사용자의 모든 화면을 주기적으로 캡처해 데이터베이스화하며, 이 정보가 **악성코드나 프롬프트 인젝션 공격에 노출될 수 있음** - Whittaker는 AI 에이전트가 **확률적 시스템**으로서 단계가 많아질수록 정확도가 급격히 떨어지고, **복잡한 작업 수행 신뢰성이 낮음**을 수치로 제시 - 두 사람은 **무분별한 배포 중단, 기본 옵트아웃 설정, 투명성 강화**를 요구하며, 그렇지 않으면 소비자 신뢰 상실로 AI 산업 전체가 위기에 처할 수 있다고 경고 --- ### 에이전틱 AI의 보안 및 감시 위험 - 에이전틱 AI가 **운영체제 수준에서 통합**되면 개인의 디지털 생활 전체가 데이터베이스에 저장되어 **악성코드 접근 가능성**이 높아짐 - 이러한 데이터베이스는 사용자의 행동, 텍스트, 앱 사용 시간, 초점 활동 등을 모두 포함 - 동의 없이 자동으로 활성화되는 경우가 있어 **프라이버시 침해** 우려가 큼 - Signal 경영진은 이러한 구조가 **보안 불안정성과 감시 위험**을 동시에 초래한다고 지적 ### Microsoft Recall 사례 - Microsoft는 Windows 11에 **Recall 기능**을 통해 에이전틱 AI를 도입 중 - Recall은 몇 초마다 화면을 캡처하고, OCR과 의미 분석을 수행해 사용자의 모든 활동을 데이터베이스로 축적 - 데이터에는 행동 타임라인, 원문 텍스트, 앱별 집중 시간, 주제 분류 등이 포함 - **Tiwari**는 이 접근 방식이 **악성코드 공격 및 숨은 프롬프트 인젝션 공격**을 막지 못한다고 지적 - 이러한 취약점은 **종단간 암호화(E2EE)** 를 우회할 수 있음 - Signal은 자체 앱 화면 녹화를 차단하는 기능을 추가했지만, **근본적 해결책은 아니라고 평가** ### 에이전틱 AI의 신뢰성 문제 - **Whittaker**는 에이전틱 AI가 **확률적 시스템**으로, 단계가 많아질수록 정확도가 급격히 저하된다고 설명 - 각 단계가 95% 정확도일 경우 10단계 작업의 성공률은 약 59.9%, 30단계는 약 21.4% - 현실적인 90% 정확도 기준에서는 30단계 작업의 성공률이 **4.2%로 급락** - 현재 최고 수준의 에이전트 모델조차 **70% 실패율**을 보인다고 언급 - 따라서 복잡한 자동화 작업을 맡기기에는 **신뢰성이 매우 낮은 기술 단계**임을 강조 ### 프라이버시와 보안을 위한 개선 방안 - Whittaker는 현재로서는 **프라이버시·보안·통제권을 완전히 보장할 방법이 없으며**, 임시 대응(triage)만 가능하다고 언급 - 그러나 다음과 같은 조치로 위험을 완화할 수 있다고 제시 - **무분별한 에이전틱 AI 배포 중단**, 악성코드가 평문 데이터베이스에 접근하지 못하도록 제한 - **기본 옵트아웃 설정**, 개발자만 명시적으로 옵트인하도록 변경 - **AI 시스템의 작동 방식과 데이터 처리 과정의 투명성 확보**, 세부 수준에서 감사 가능하도록 설계 - 이러한 조치가 이루어지지 않으면, **소비자 신뢰 상실로 에이전틱 AI 시대 자체가 위태로워질 수 있음** ### 산업 전반에 대한 경고 - Signal 경영진은 에이전틱 AI가 **과도한 투자와 과대평가** 속에서 발전하고 있으나, **보안·신뢰성·감시 문제를 해결하지 않으면 산업 전체가 위기에 직면할 것**이라고 경고 - 기업들은 기술적 혁신보다 **사용자 보호와 투명성 확보**를 우선해야 함을 강조 ## Comments ### Comment 49226 - Author: neo - Created: 2026-01-15T02:33:08+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=46605553) - 이건 **AI 문제가 아니라 운영체제 문제**임 AI는 인간이 작성하고 검토한 소프트웨어보다 훨씬 덜 신뢰할 수 있어서, 기존 시스템의 결함을 드러내고 있음 UNIX나 Microsoft 모두 프로세스 격리를 제대로 구현하지 못했고, 보안 모델이 잘 설계되어도 컴퓨터나 OS 판매에는 도움이 되지 않았음 Plan 9, SEL4, Fuschia, Helios 같은 좋은 예시들이 있지만, 문제는 **결정권자들의 안목 부족**임 샌드박싱과 현대적 보안 모델을 이해하지 못하는 게 부끄러운 일로 여겨져야 함 - 보안 모델이 잘 설계되어도 사용자 입장에서는 너무 **불편**한 경우가 많음 보안이 강한 환경에 소프트웨어를 배포할 때, 기본적으로 아무 것도 통신하지 못하고 파일 시스템이 불변이라 실행조차 안 되는 경우가 있음 TLS 인증서나 CA 설정까지 포함하면 배포가 악몽 수준이 됨 - AI도 결국 “컴퓨터 사용”을 대체하려는 것이므로 **운영체제와 AI의 경계가 흐려지는 문제**임 Recall 같은 기능을 안전하게 구현하려면 세밀한 권한 제어가 필요하지만, 현실적으로는 UAC처럼 불편할 가능성이 큼 AI가 개인 비서처럼 작동하면서도 안전하고 신뢰성 있게 만드는 건 매우 어려운 과제임 - 기존 OS 보안 모델은 네트워크 환경을 고려하지 않았음 대부분 인터넷 이전에 설계된 탓에, 지금 와서 완전히 새로 만드는 건 **호환성과 비용 문제**로 불가능에 가까움 컨테이너나 VM은 결국 기존 시스템 위에 임시방편으로 얹은 **덧대기식 해결책**에 불과함 - LLM을 통합한 모든 환경에서 비슷한 문제가 발생하므로, **AI 자체에도 책임이 있음** 브라우저, 이메일 클라이언트, 워드프로세서 등 어디에 넣어도 예측 불가능한 행동을 함 결국 “보안 불가능한 LLM을 통합한 선택”이 근본적인 문제임 - AI가 유용하려면 결국 **신뢰할 수 있는 접근 권한**이 필요함 완전한 격리는 자원과 복잡도 측면에서 너무 비싸고, Qubes 같은 시스템이 대중화되지 못한 이유도 그 때문임 근본적으로 낮은 공격면을 가진 인터페이스를 새로 설계해야 하지만, 이는 생태계 전체를 바꾸는 일임 - Signal은 **보안과 프라이버시**를 최우선으로 두는 게 맞음 반면 기업 IT는 위험을 관리하는 게 역할임 두 역할은 완전히 다르며, Signal의 절대적 보안 기준은 그들의 미션에는 적합함 - 흥미로운 관점이지만, 기업 사용자가 데스크톱에서 에이전트를 실행하는 **실제 위험**을 과소평가하는 것 같음 IT 관리자가 조직의 리스크를 통제하려면 어떤 접근이 현명할지 궁금함 - Recall의 전신으로 보이는 프로젝트를 2009년에 Microsoft Research에서 다뤄봤던 기억이 있음 이름은 **PersonalVibe**였고, 사용자 행동을 로컬 DB에 기록하지만 외부로 전송하지 않는 구조였음 [프로젝트 링크](https://g2ww.short.gy/VibeCodeStudioCode) - 기업 환경에서 ‘Agentic AI’의 매력은 크지만, **예측 가능성**이 더 중요한 가치임 90%만 제대로 작동하고 나머지 10%에서 데이터 유출이나 환각이 생기면, 그건 에이전트가 아니라 **위험 요소**임 지금은 여전히 **human-in-the-loop**이 필수적인 단계임 - 리스크가 내부에 있느냐 외부에 있느냐에 따라 **책임의 무게**가 달라짐 기업은 내부 리스크는 관리하지만, 외부 리스크는 약관이나 EULA로 떠넘김 대부분의 사람들은 “벤더를 믿는다”거나 “회사에서 막아줄 것”이라 생각하며 클릭함 경영진은 단기 실적을 위해 AI 리스크를 미래로 미루는 유혹을 받음 - 나는 에이전트가 아니라 **주체(principal)** 를 원함 - Recall 같은 기능은 **말도 안 되는 발상**임 Anthropic이나 ChatGPT도 사용자의 전체 업무 데이터를 모델에 흡수하려 하고 있음 지금 필요한 건 **추론 단계에서 검증 가능한 프라이버시**임 내 데이터가 전송된다면 반드시 검증 가능한 방식으로 보호되어야 함 - AI는 지금까지 만들어진 기술 중 **가장 큰 데이터 프라이버시 리스크**임 사람들은 자신이 모르는 회사에 모든 데이터를 넘기고 있음 - Recall 아이디어 자체는 쓸모 있지만, **Microsoft를 신뢰할 수 없음** 원할 때만 작동하고, OS에 통합되지 않은 **휴대용 앱 형태**라면 괜찮을 것 같음 문제 해결 중 작업 기록을 남기는 용도로는 유용할 수 있음 - 데이터가 진짜로 비공개이려면 **모든 처리를 로컬에서 수행**해야 함 외부 네트워크로 나가지 않는 환경이 유일한 해답임 - Apple은 Gemini3를 통합하기 위해 **수십억 달러**를 지불하고 있음 개인이 몇백 달러로 같은 수준의 프라이버시를 기대하긴 어려움 - 미국 내에서는 누가 이걸 책임질지도 불분명함 AI 기업들은 이미 수년간 **불법에 가까운 데이터 수집**을 해왔고, 정부도 관심이 없음 - 기술 발전이 **‘바닥으로의 경쟁’** 처럼 느껴짐 보안 연구의 30년이 무의미해진 듯함 AI 브라우저가 쿠키와 인증 토큰을 다루면서 공격면이 무한히 커졌음 - “작동 원리도 모르는 시스템에 모든 접근 권한을 주자”는 발상은 **광기**임 AI가 행동을 제안하되, **결정은 항상 사용자 확인 후 실행**되어야 함 예를 들어 구독 취소 요청을 감지하면 “AI가 이렇게 판단했는데 맞습니까?”라고 묻는 식임 다만 인간은 90% 정확한 시스템을 100%로 착각하는 **심리적 문제**가 있음 - 사용자 확인 기반의 **‘번역형 상호작용’** 이 책임 있는 접근임 예를 들어 “Foo 관련 기사 중 Bar는 제외” 같은 자연어 요청을 **형식화된 검색 쿼리**로 변환해 제안하는 식임 물론 악의적 데이터셋이 있다면 위험하지만, 무분별하게 LLM을 통합하는 것보다는 훨씬 낫음 - AI를 **격리된 사용자 계정**으로 실행하고, **화이트리스트 기반 방화벽**과 **오버레이 파일 시스템**을 사용하면 원치 않는 행동을 막을 수 있는지 궁금함 - 필요한 건 **상호작용 수준의 제로 트러스트 모델**임 AI가 민감한 데이터를 직접 보지 않고도 작업을 수행하게 해야 함 하드웨어 **보안 인클레이브**와 결합하면 프라이버시 문제를 근본적으로 해결할 수 있음 - 어제 내가 요청했던 내용과 정확히 일치하는 기사임 [관련 링크](https://news.ycombinator.com/item?id=46595265)