이건 AI 문제가 아니라 운영체제 문제임
AI는 인간이 작성하고 검토한 소프트웨어보다 훨씬 덜 신뢰할 수 있어서, 기존 시스템의 결함을 드러내고 있음
UNIX나 Microsoft 모두 프로세스 격리를 제대로 구현하지 못했고, 보안 모델이 잘 설계되어도 컴퓨터나 OS 판매에는 도움이 되지 않았음
Plan 9, SEL4, Fuschia, Helios 같은 좋은 예시들이 있지만, 문제는 결정권자들의 안목 부족임
샌드박싱과 현대적 보안 모델을 이해하지 못하는 게 부끄러운 일로 여겨져야 함
보안 모델이 잘 설계되어도 사용자 입장에서는 너무 불편한 경우가 많음
보안이 강한 환경에 소프트웨어를 배포할 때, 기본적으로 아무 것도 통신하지 못하고 파일 시스템이 불변이라 실행조차 안 되는 경우가 있음
TLS 인증서나 CA 설정까지 포함하면 배포가 악몽 수준이 됨
AI도 결국 “컴퓨터 사용”을 대체하려는 것이므로 운영체제와 AI의 경계가 흐려지는 문제임
Recall 같은 기능을 안전하게 구현하려면 세밀한 권한 제어가 필요하지만, 현실적으로는 UAC처럼 불편할 가능성이 큼
AI가 개인 비서처럼 작동하면서도 안전하고 신뢰성 있게 만드는 건 매우 어려운 과제임
기존 OS 보안 모델은 네트워크 환경을 고려하지 않았음
대부분 인터넷 이전에 설계된 탓에, 지금 와서 완전히 새로 만드는 건 호환성과 비용 문제로 불가능에 가까움
컨테이너나 VM은 결국 기존 시스템 위에 임시방편으로 얹은 덧대기식 해결책에 불과함
LLM을 통합한 모든 환경에서 비슷한 문제가 발생하므로, AI 자체에도 책임이 있음
브라우저, 이메일 클라이언트, 워드프로세서 등 어디에 넣어도 예측 불가능한 행동을 함
결국 “보안 불가능한 LLM을 통합한 선택”이 근본적인 문제임
AI가 유용하려면 결국 신뢰할 수 있는 접근 권한이 필요함
완전한 격리는 자원과 복잡도 측면에서 너무 비싸고, Qubes 같은 시스템이 대중화되지 못한 이유도 그 때문임
근본적으로 낮은 공격면을 가진 인터페이스를 새로 설계해야 하지만, 이는 생태계 전체를 바꾸는 일임
Signal은 보안과 프라이버시를 최우선으로 두는 게 맞음
반면 기업 IT는 위험을 관리하는 게 역할임
두 역할은 완전히 다르며, Signal의 절대적 보안 기준은 그들의 미션에는 적합함
흥미로운 관점이지만, 기업 사용자가 데스크톱에서 에이전트를 실행하는 실제 위험을 과소평가하는 것 같음
IT 관리자가 조직의 리스크를 통제하려면 어떤 접근이 현명할지 궁금함
Recall의 전신으로 보이는 프로젝트를 2009년에 Microsoft Research에서 다뤄봤던 기억이 있음
이름은 PersonalVibe였고, 사용자 행동을 로컬 DB에 기록하지만 외부로 전송하지 않는 구조였음 프로젝트 링크
기업 환경에서 ‘Agentic AI’의 매력은 크지만, 예측 가능성이 더 중요한 가치임
90%만 제대로 작동하고 나머지 10%에서 데이터 유출이나 환각이 생기면, 그건 에이전트가 아니라 위험 요소임
지금은 여전히 human-in-the-loop이 필수적인 단계임
리스크가 내부에 있느냐 외부에 있느냐에 따라 책임의 무게가 달라짐
기업은 내부 리스크는 관리하지만, 외부 리스크는 약관이나 EULA로 떠넘김
대부분의 사람들은 “벤더를 믿는다”거나 “회사에서 막아줄 것”이라 생각하며 클릭함
경영진은 단기 실적을 위해 AI 리스크를 미래로 미루는 유혹을 받음
나는 에이전트가 아니라 주체(principal) 를 원함
Recall 같은 기능은 말도 안 되는 발상임
Anthropic이나 ChatGPT도 사용자의 전체 업무 데이터를 모델에 흡수하려 하고 있음
지금 필요한 건 추론 단계에서 검증 가능한 프라이버시임
내 데이터가 전송된다면 반드시 검증 가능한 방식으로 보호되어야 함
AI는 지금까지 만들어진 기술 중 가장 큰 데이터 프라이버시 리스크임
사람들은 자신이 모르는 회사에 모든 데이터를 넘기고 있음
Recall 아이디어 자체는 쓸모 있지만, Microsoft를 신뢰할 수 없음
원할 때만 작동하고, OS에 통합되지 않은 휴대용 앱 형태라면 괜찮을 것 같음
문제 해결 중 작업 기록을 남기는 용도로는 유용할 수 있음
데이터가 진짜로 비공개이려면 모든 처리를 로컬에서 수행해야 함
외부 네트워크로 나가지 않는 환경이 유일한 해답임
Apple은 Gemini3를 통합하기 위해 수십억 달러를 지불하고 있음
개인이 몇백 달러로 같은 수준의 프라이버시를 기대하긴 어려움
미국 내에서는 누가 이걸 책임질지도 불분명함
AI 기업들은 이미 수년간 불법에 가까운 데이터 수집을 해왔고, 정부도 관심이 없음
기술 발전이 ‘바닥으로의 경쟁’ 처럼 느껴짐
보안 연구의 30년이 무의미해진 듯함
AI 브라우저가 쿠키와 인증 토큰을 다루면서 공격면이 무한히 커졌음
“작동 원리도 모르는 시스템에 모든 접근 권한을 주자”는 발상은 광기임
AI가 행동을 제안하되, 결정은 항상 사용자 확인 후 실행되어야 함
예를 들어 구독 취소 요청을 감지하면 “AI가 이렇게 판단했는데 맞습니까?”라고 묻는 식임
다만 인간은 90% 정확한 시스템을 100%로 착각하는 심리적 문제가 있음
사용자 확인 기반의 ‘번역형 상호작용’ 이 책임 있는 접근임
예를 들어 “Foo 관련 기사 중 Bar는 제외” 같은 자연어 요청을 형식화된 검색 쿼리로 변환해 제안하는 식임
물론 악의적 데이터셋이 있다면 위험하지만, 무분별하게 LLM을 통합하는 것보다는 훨씬 낫음
AI를 격리된 사용자 계정으로 실행하고, 화이트리스트 기반 방화벽과 오버레이 파일 시스템을 사용하면
원치 않는 행동을 막을 수 있는지 궁금함
필요한 건 상호작용 수준의 제로 트러스트 모델임
AI가 민감한 데이터를 직접 보지 않고도 작업을 수행하게 해야 함
하드웨어 보안 인클레이브와 결합하면 프라이버시 문제를 근본적으로 해결할 수 있음
Hacker News 의견들
이건 AI 문제가 아니라 운영체제 문제임
AI는 인간이 작성하고 검토한 소프트웨어보다 훨씬 덜 신뢰할 수 있어서, 기존 시스템의 결함을 드러내고 있음
UNIX나 Microsoft 모두 프로세스 격리를 제대로 구현하지 못했고, 보안 모델이 잘 설계되어도 컴퓨터나 OS 판매에는 도움이 되지 않았음
Plan 9, SEL4, Fuschia, Helios 같은 좋은 예시들이 있지만, 문제는 결정권자들의 안목 부족임
샌드박싱과 현대적 보안 모델을 이해하지 못하는 게 부끄러운 일로 여겨져야 함
보안이 강한 환경에 소프트웨어를 배포할 때, 기본적으로 아무 것도 통신하지 못하고 파일 시스템이 불변이라 실행조차 안 되는 경우가 있음
TLS 인증서나 CA 설정까지 포함하면 배포가 악몽 수준이 됨
Recall 같은 기능을 안전하게 구현하려면 세밀한 권한 제어가 필요하지만, 현실적으로는 UAC처럼 불편할 가능성이 큼
AI가 개인 비서처럼 작동하면서도 안전하고 신뢰성 있게 만드는 건 매우 어려운 과제임
대부분 인터넷 이전에 설계된 탓에, 지금 와서 완전히 새로 만드는 건 호환성과 비용 문제로 불가능에 가까움
컨테이너나 VM은 결국 기존 시스템 위에 임시방편으로 얹은 덧대기식 해결책에 불과함
브라우저, 이메일 클라이언트, 워드프로세서 등 어디에 넣어도 예측 불가능한 행동을 함
결국 “보안 불가능한 LLM을 통합한 선택”이 근본적인 문제임
완전한 격리는 자원과 복잡도 측면에서 너무 비싸고, Qubes 같은 시스템이 대중화되지 못한 이유도 그 때문임
근본적으로 낮은 공격면을 가진 인터페이스를 새로 설계해야 하지만, 이는 생태계 전체를 바꾸는 일임
Signal은 보안과 프라이버시를 최우선으로 두는 게 맞음
반면 기업 IT는 위험을 관리하는 게 역할임
두 역할은 완전히 다르며, Signal의 절대적 보안 기준은 그들의 미션에는 적합함
IT 관리자가 조직의 리스크를 통제하려면 어떤 접근이 현명할지 궁금함
Recall의 전신으로 보이는 프로젝트를 2009년에 Microsoft Research에서 다뤄봤던 기억이 있음
이름은 PersonalVibe였고, 사용자 행동을 로컬 DB에 기록하지만 외부로 전송하지 않는 구조였음
프로젝트 링크
기업 환경에서 ‘Agentic AI’의 매력은 크지만, 예측 가능성이 더 중요한 가치임
90%만 제대로 작동하고 나머지 10%에서 데이터 유출이나 환각이 생기면, 그건 에이전트가 아니라 위험 요소임
지금은 여전히 human-in-the-loop이 필수적인 단계임
기업은 내부 리스크는 관리하지만, 외부 리스크는 약관이나 EULA로 떠넘김
대부분의 사람들은 “벤더를 믿는다”거나 “회사에서 막아줄 것”이라 생각하며 클릭함
경영진은 단기 실적을 위해 AI 리스크를 미래로 미루는 유혹을 받음
Recall 같은 기능은 말도 안 되는 발상임
Anthropic이나 ChatGPT도 사용자의 전체 업무 데이터를 모델에 흡수하려 하고 있음
지금 필요한 건 추론 단계에서 검증 가능한 프라이버시임
내 데이터가 전송된다면 반드시 검증 가능한 방식으로 보호되어야 함
사람들은 자신이 모르는 회사에 모든 데이터를 넘기고 있음
원할 때만 작동하고, OS에 통합되지 않은 휴대용 앱 형태라면 괜찮을 것 같음
문제 해결 중 작업 기록을 남기는 용도로는 유용할 수 있음
외부 네트워크로 나가지 않는 환경이 유일한 해답임
개인이 몇백 달러로 같은 수준의 프라이버시를 기대하긴 어려움
AI 기업들은 이미 수년간 불법에 가까운 데이터 수집을 해왔고, 정부도 관심이 없음
기술 발전이 ‘바닥으로의 경쟁’ 처럼 느껴짐
보안 연구의 30년이 무의미해진 듯함
AI 브라우저가 쿠키와 인증 토큰을 다루면서 공격면이 무한히 커졌음
“작동 원리도 모르는 시스템에 모든 접근 권한을 주자”는 발상은 광기임
AI가 행동을 제안하되, 결정은 항상 사용자 확인 후 실행되어야 함
예를 들어 구독 취소 요청을 감지하면 “AI가 이렇게 판단했는데 맞습니까?”라고 묻는 식임
다만 인간은 90% 정확한 시스템을 100%로 착각하는 심리적 문제가 있음
예를 들어 “Foo 관련 기사 중 Bar는 제외” 같은 자연어 요청을 형식화된 검색 쿼리로 변환해 제안하는 식임
물론 악의적 데이터셋이 있다면 위험하지만, 무분별하게 LLM을 통합하는 것보다는 훨씬 낫음
AI를 격리된 사용자 계정으로 실행하고,
화이트리스트 기반 방화벽과 오버레이 파일 시스템을 사용하면
원치 않는 행동을 막을 수 있는지 궁금함
필요한 건 상호작용 수준의 제로 트러스트 모델임
AI가 민감한 데이터를 직접 보지 않고도 작업을 수행하게 해야 함
하드웨어 보안 인클레이브와 결합하면 프라이버시 문제를 근본적으로 해결할 수 있음
어제 내가 요청했던 내용과 정확히 일치하는 기사임
관련 링크