▲

에이전틱 AI는 불안정하고 신뢰할 수 없으며 감시 위험이 크다고 Signal 경영진이 경고

 (coywolf.com)
2P by GN⁺ 11일전 | ★ favorite | 댓글 1개
  • 운영체제 수준에 통합된 에이전틱 AI가 개인의 디지털 활동 전체를 기록하고 악성코드에 노출될 수 있다는 점이 주요 위험으로 지적됨
  • Signal의 Meredith Whittaker와 Udbhav Tiwari는 39번째 Chaos Communication Congress에서 이러한 AI가 보안·신뢰성·감시 측면에서 모두 취약하다고 발표
  • Microsoft의 Recall 기능은 사용자의 모든 화면을 주기적으로 캡처해 데이터베이스화하며, 이 정보가 악성코드나 프롬프트 인젝션 공격에 노출될 수 있음
  • Whittaker는 AI 에이전트가 확률적 시스템으로서 단계가 많아질수록 정확도가 급격히 떨어지고, 복잡한 작업 수행 신뢰성이 낮음을 수치로 제시
  • 두 사람은 무분별한 배포 중단, 기본 옵트아웃 설정, 투명성 강화를 요구하며, 그렇지 않으면 소비자 신뢰 상실로 AI 산업 전체가 위기에 처할 수 있다고 경고

에이전틱 AI의 보안 및 감시 위험

  • 에이전틱 AI가 운영체제 수준에서 통합되면 개인의 디지털 생활 전체가 데이터베이스에 저장되어 악성코드 접근 가능성이 높아짐
    • 이러한 데이터베이스는 사용자의 행동, 텍스트, 앱 사용 시간, 초점 활동 등을 모두 포함
    • 동의 없이 자동으로 활성화되는 경우가 있어 프라이버시 침해 우려가 큼
  • Signal 경영진은 이러한 구조가 보안 불안정성과 감시 위험을 동시에 초래한다고 지적

Microsoft Recall 사례

  • Microsoft는 Windows 11에 Recall 기능을 통해 에이전틱 AI를 도입 중
    • Recall은 몇 초마다 화면을 캡처하고, OCR과 의미 분석을 수행해 사용자의 모든 활동을 데이터베이스로 축적
    • 데이터에는 행동 타임라인, 원문 텍스트, 앱별 집중 시간, 주제 분류 등이 포함
  • Tiwari는 이 접근 방식이 악성코드 공격 및 숨은 프롬프트 인젝션 공격을 막지 못한다고 지적
    • 이러한 취약점은 종단간 암호화(E2EE) 를 우회할 수 있음
    • Signal은 자체 앱 화면 녹화를 차단하는 기능을 추가했지만, 근본적 해결책은 아니라고 평가

에이전틱 AI의 신뢰성 문제

  • Whittaker는 에이전틱 AI가 확률적 시스템으로, 단계가 많아질수록 정확도가 급격히 저하된다고 설명
    • 각 단계가 95% 정확도일 경우 10단계 작업의 성공률은 약 59.9%, 30단계는 약 21.4%
    • 현실적인 90% 정확도 기준에서는 30단계 작업의 성공률이 4.2%로 급락
  • 현재 최고 수준의 에이전트 모델조차 70% 실패율을 보인다고 언급
  • 따라서 복잡한 자동화 작업을 맡기기에는 신뢰성이 매우 낮은 기술 단계임을 강조

프라이버시와 보안을 위한 개선 방안

  • Whittaker는 현재로서는 프라이버시·보안·통제권을 완전히 보장할 방법이 없으며, 임시 대응(triage)만 가능하다고 언급
  • 그러나 다음과 같은 조치로 위험을 완화할 수 있다고 제시
    • 무분별한 에이전틱 AI 배포 중단, 악성코드가 평문 데이터베이스에 접근하지 못하도록 제한
    • 기본 옵트아웃 설정, 개발자만 명시적으로 옵트인하도록 변경
    • AI 시스템의 작동 방식과 데이터 처리 과정의 투명성 확보, 세부 수준에서 감사 가능하도록 설계
  • 이러한 조치가 이루어지지 않으면, 소비자 신뢰 상실로 에이전틱 AI 시대 자체가 위태로워질 수 있음

산업 전반에 대한 경고

  • Signal 경영진은 에이전틱 AI가 과도한 투자와 과대평가 속에서 발전하고 있으나,
    보안·신뢰성·감시 문제를 해결하지 않으면 산업 전체가 위기에 직면할 것이라고 경고
  • 기업들은 기술적 혁신보다 사용자 보호와 투명성 확보를 우선해야 함을 강조
▲
GN⁺ 11일전  [-]
Hacker News 의견들

  • 이건 AI 문제가 아니라 운영체제 문제임
    AI는 인간이 작성하고 검토한 소프트웨어보다 훨씬 덜 신뢰할 수 있어서, 기존 시스템의 결함을 드러내고 있음
    UNIX나 Microsoft 모두 프로세스 격리를 제대로 구현하지 못했고, 보안 모델이 잘 설계되어도 컴퓨터나 OS 판매에는 도움이 되지 않았음
    Plan 9, SEL4, Fuschia, Helios 같은 좋은 예시들이 있지만, 문제는 결정권자들의 안목 부족임
    샌드박싱과 현대적 보안 모델을 이해하지 못하는 게 부끄러운 일로 여겨져야 함

    • 보안 모델이 잘 설계되어도 사용자 입장에서는 너무 불편한 경우가 많음
      보안이 강한 환경에 소프트웨어를 배포할 때, 기본적으로 아무 것도 통신하지 못하고 파일 시스템이 불변이라 실행조차 안 되는 경우가 있음
      TLS 인증서나 CA 설정까지 포함하면 배포가 악몽 수준이 됨
    • AI도 결국 “컴퓨터 사용”을 대체하려는 것이므로 운영체제와 AI의 경계가 흐려지는 문제임
      Recall 같은 기능을 안전하게 구현하려면 세밀한 권한 제어가 필요하지만, 현실적으로는 UAC처럼 불편할 가능성이 큼
      AI가 개인 비서처럼 작동하면서도 안전하고 신뢰성 있게 만드는 건 매우 어려운 과제임
    • 기존 OS 보안 모델은 네트워크 환경을 고려하지 않았음
      대부분 인터넷 이전에 설계된 탓에, 지금 와서 완전히 새로 만드는 건 호환성과 비용 문제로 불가능에 가까움
      컨테이너나 VM은 결국 기존 시스템 위에 임시방편으로 얹은 덧대기식 해결책에 불과함
    • LLM을 통합한 모든 환경에서 비슷한 문제가 발생하므로, AI 자체에도 책임이 있음
      브라우저, 이메일 클라이언트, 워드프로세서 등 어디에 넣어도 예측 불가능한 행동을 함
      결국 “보안 불가능한 LLM을 통합한 선택”이 근본적인 문제임
    • AI가 유용하려면 결국 신뢰할 수 있는 접근 권한이 필요함
      완전한 격리는 자원과 복잡도 측면에서 너무 비싸고, Qubes 같은 시스템이 대중화되지 못한 이유도 그 때문임
      근본적으로 낮은 공격면을 가진 인터페이스를 새로 설계해야 하지만, 이는 생태계 전체를 바꾸는 일임

  • Signal은 보안과 프라이버시를 최우선으로 두는 게 맞음
    반면 기업 IT는 위험을 관리하는 게 역할임
    두 역할은 완전히 다르며, Signal의 절대적 보안 기준은 그들의 미션에는 적합함

    • 흥미로운 관점이지만, 기업 사용자가 데스크톱에서 에이전트를 실행하는 실제 위험을 과소평가하는 것 같음
      IT 관리자가 조직의 리스크를 통제하려면 어떤 접근이 현명할지 궁금함

  • Recall의 전신으로 보이는 프로젝트를 2009년에 Microsoft Research에서 다뤄봤던 기억이 있음
    이름은 PersonalVibe였고, 사용자 행동을 로컬 DB에 기록하지만 외부로 전송하지 않는 구조였음
    프로젝트 링크

  • 기업 환경에서 ‘Agentic AI’의 매력은 크지만, 예측 가능성이 더 중요한 가치임
    90%만 제대로 작동하고 나머지 10%에서 데이터 유출이나 환각이 생기면, 그건 에이전트가 아니라 위험 요소임
    지금은 여전히 human-in-the-loop이 필수적인 단계임

    • 리스크가 내부에 있느냐 외부에 있느냐에 따라 책임의 무게가 달라짐
      기업은 내부 리스크는 관리하지만, 외부 리스크는 약관이나 EULA로 떠넘김
      대부분의 사람들은 “벤더를 믿는다”거나 “회사에서 막아줄 것”이라 생각하며 클릭함
      경영진은 단기 실적을 위해 AI 리스크를 미래로 미루는 유혹을 받음
    • 나는 에이전트가 아니라 주체(principal) 를 원함

  • Recall 같은 기능은 말도 안 되는 발상임
    Anthropic이나 ChatGPT도 사용자의 전체 업무 데이터를 모델에 흡수하려 하고 있음
    지금 필요한 건 추론 단계에서 검증 가능한 프라이버시임
    내 데이터가 전송된다면 반드시 검증 가능한 방식으로 보호되어야 함

    • AI는 지금까지 만들어진 기술 중 가장 큰 데이터 프라이버시 리스크임
      사람들은 자신이 모르는 회사에 모든 데이터를 넘기고 있음
    • Recall 아이디어 자체는 쓸모 있지만, Microsoft를 신뢰할 수 없음
      원할 때만 작동하고, OS에 통합되지 않은 휴대용 앱 형태라면 괜찮을 것 같음
      문제 해결 중 작업 기록을 남기는 용도로는 유용할 수 있음
    • 데이터가 진짜로 비공개이려면 모든 처리를 로컬에서 수행해야 함
      외부 네트워크로 나가지 않는 환경이 유일한 해답임
    • Apple은 Gemini3를 통합하기 위해 수십억 달러를 지불하고 있음
      개인이 몇백 달러로 같은 수준의 프라이버시를 기대하긴 어려움
    • 미국 내에서는 누가 이걸 책임질지도 불분명함
      AI 기업들은 이미 수년간 불법에 가까운 데이터 수집을 해왔고, 정부도 관심이 없음

  • 기술 발전이 ‘바닥으로의 경쟁’ 처럼 느껴짐
    보안 연구의 30년이 무의미해진 듯함
    AI 브라우저가 쿠키와 인증 토큰을 다루면서 공격면이 무한히 커졌음

  • “작동 원리도 모르는 시스템에 모든 접근 권한을 주자”는 발상은 광기임
    AI가 행동을 제안하되, 결정은 항상 사용자 확인 후 실행되어야 함
    예를 들어 구독 취소 요청을 감지하면 “AI가 이렇게 판단했는데 맞습니까?”라고 묻는 식임
    다만 인간은 90% 정확한 시스템을 100%로 착각하는 심리적 문제가 있음

    • 사용자 확인 기반의 ‘번역형 상호작용’ 이 책임 있는 접근임
      예를 들어 “Foo 관련 기사 중 Bar는 제외” 같은 자연어 요청을 형식화된 검색 쿼리로 변환해 제안하는 식임
      물론 악의적 데이터셋이 있다면 위험하지만, 무분별하게 LLM을 통합하는 것보다는 훨씬 낫음

  • AI를 격리된 사용자 계정으로 실행하고,
    화이트리스트 기반 방화벽과 오버레이 파일 시스템을 사용하면
    원치 않는 행동을 막을 수 있는지 궁금함

  • 필요한 건 상호작용 수준의 제로 트러스트 모델임
    AI가 민감한 데이터를 직접 보지 않고도 작업을 수행하게 해야 함
    하드웨어 보안 인클레이브와 결합하면 프라이버시 문제를 근본적으로 해결할 수 있음

  • 어제 내가 요청했던 내용과 정확히 일치하는 기사임
    관련 링크

답변달기