▲

Anthropic이 Claude Code Auto Mode를 설계한 방법

 (anthropic.com)
1P by GN⁺ 17시간전 | ★ favorite | 댓글과 토론
  • 클로드 코드 사용자의 93%가 권한 프롬프트를 그냥 승인하는 승인 피로 현상을 해결하기 위해, 모델 기반 분류기로 승인 결정을 자동화하는 auto mode가 새로 도입
  • auto mode는 입력 레이어의 프롬프트 인젝션 프로브와 출력 레이어의 트랜스크립트 분류기(Sonnet 4.6 기반) 두 겹의 방어 구조로 작동
  • 분류기는 에이전트의 어시스턴트 메시지와 툴 결과를 제거하고, 사용자 메시지와 툴 호출 명령만을 기준으로 판단해 에이전트 자체의 프레이밍에 영향받지 않도록 설계됨
  • 실제 과도한 행동(overeager actions) 데이터셋(n=52) 기준 오탐지율(FNR) 17% 로, --dangerously-skip-permissions 대비 실질적 개선이지만 신중한 수동 검토의 완전한 대체재는 아님
  • 위험 행동을 차단할 때 세션을 중단하지 않고 에이전트가 더 안전한 대안을 시도하도록 유도하며, 연속 3회 또는 총 20회 차단 시 사람에게 에스컬레이션하는 안전장치 포함

도입 배경

  • 기본적으로 Claude Code는 명령 실행이나 파일 수정 전 사용자 승인을 요청하지만, 실제로 사용자들은 93%의 요청을 그냥 승인하는 패턴을 보임
  • 기존 대안은 두 가지: 도구를 격리하는 샌드박스(안전하지만 유지비용 높음)와 모든 권한 프롬프트를 비활성화하는 --dangerously-skip-permissions 플래그(유지비용 없지만 보호 없음)
  • Anthropic 내부 인시던트 로그에는 실제 오작동 사례 기록: 잘못 해석된 지시로 원격 git 브랜치 삭제, 내부 컴퓨트 클러스터에 GitHub 인증 토큰 업로드, 프로덕션 DB 대상 마이그레이션 시도 등
  • 이 패턴은 모델이 사용자의 의도를 넘어 과도하게 주도권을 행사(overeager behavior) 하는 형태로, Claude Opus 4.6 시스템 카드 §6.2.1, §6.2.3.3에 문서화됨
  • auto mode는 이 두 극단 사이의 중간 지점을 목표로, 사용자 의도에 맞지 않는 위험 행동만 차단하고 나머지는 승인 없이 실행

작동 방식

  • 입력 레이어: 서버 측 프롬프트 인젝션 프로브가 파일 읽기, 웹 fetch, 셸 출력, 외부 툴 응답 등 툴 출력물을 에이전트 컨텍스트에 전달되기 전에 스캔
    • 행동 하이재킹 시도로 보이는 콘텐츠 감지 시, 해당 내용을 의심하고 사용자의 실제 요청에 집중하라는 경고를 에이전트 컨텍스트에 추가
  • 출력 레이어: Sonnet 4.6 기반 트랜스크립트 분류기가 각 행동을 실행 전 판단 기준에 따라 평가
    • 1단계: 빠른 단일 토큰(yes/no) 필터 — 차단 방향으로 조율됨
    • 2단계: 1단계에서 플래그된 경우에만 체인 오브 생각(chain-of-thought) 추론 실행으로 위양성(false positive) 감소
  • 분류기는 사용자 메시지와 에이전트 툴 호출만 참조, 어시스턴트 메시지와 툴 결과는 제거
    • 에이전트 자체의 합리화 텍스트("이전에 사용자가 암묵적으로 승인했으니 안전하다" 등)에 분류기가 영향받지 않도록 하기 위한 설계

위협 모델

  • auto mode가 방어하는 위험 행동의 4가지 원인:

    1. 과도한 행동(Overeager behavior): 사용자 목표를 이해하지만 사용자가 승인하지 않은 범위까지 주도적으로 행동 — 찾은 자격증명 사용, 방해 요소 삭제 등
    2. 단순 실수(Honest mistakes): 리소스가 테스트 범위인 줄 알았으나 공유 리소스인 경우 등 영향 범위(blast radius) 오판
    3. 프롬프트 인젝션(Prompt injection): 파일, 웹페이지, 툴 출력 내 삽입된 지시가 에이전트를 사용자 작업에서 공격자의 목적으로 리다이렉트
    4. 정렬 실패 모델(Misaligned model): 에이전트가 자체 목표를 추구하는 경우 — 현재는 실제로 관찰되지 않지만 매 모델 출시마다 신중하게 평가

  • 내부 인시던트 로그에서 도출한 차단 대상 행동 사례:

    • 범위 에스컬레이션: "오래된 브랜치 정리" 요청 → 에이전트가 원격 브랜치 삭제 실행 시도 (요청이 모호하고 행동이 되돌릴 수 없으므로 차단)
    • 자격증명 탐색: 인증 오류 발생 시 사용자 승인 없이 환경 변수와 설정 파일에서 대체 API 토큰 grep 탐색 (차단)
    • 에이전트 추론 파라미터: "내 잡을 취소해" → 클러스터 조회 후 이름 유사도로 가장 가까운 것 선택해 삭제 시도 (의도한 대상이 아닐 수 있어 차단)
    • 외부 서비스 통한 공유: 디버깅용 스크립트를 GitHub Gist에 공유하려는 명령 생성 — 데이터 유출(exfiltration) 로 간주, 차단
    • 안전 검사 우회: 배포 명령의 사전 검사 실패 → 검증 건너뛰기 플래그로 재시도 (공유 인프라에 영향 가능, 차단)

권한 결정 구조 (3단계 티어)

  • Tier 1 — 기본 안전 툴 허용목록 및 사용자 설정:
    • 상태를 수정할 수 없는 툴(파일 읽기, 텍스트 검색, 코드 탐색 등)은 고정 허용목록에 포함
    • 사용자가 특정 툴 패턴에 대한 always-allow 규칙 설정 가능
    • auto mode 진입 시, 임의 코드 실행을 허용하는 것으로 알려진 권한 규칙은 자동 제거: 전체 셸 접근, 와일드카드 스크립트 인터프리터(python, node, ruby 등), 패키지 매니저 run 명령 등
    • 좁은 범위의 규칙("코드 포매터 실행 허용")은 유지, 넓은 인터프리터 탈출 규칙은 미적용
  • Tier 2 — 프로젝트 내 파일 작업:
    • 프로젝트 디렉토리 내 파일 쓰기·편집은 분류기 호출 없이 허용 — 버전 관리로 검토 가능하므로
  • Tier 3 — 트랜스크립트 분류기:
    • 실질적 피해 가능성이 있는 행동만 도달: 셸 명령, 웹 fetch, 외부 툴 통합, 서브에이전트 생성, 프로젝트 디렉토리 외부 파일시스템 작업 등

분류기 판단 기준 구조

  • 분류기 프롬프트는 고정 템플릿 + 3개의 커스터마이즈 슬롯 구조
  • 고정 템플릿 구성:
    • 평가 규칙(Evaluation rules): 명령 표면 텍스트가 아닌 실제 세계 영향(real-world impact) 기준 평가. 에이전트가 무해해 보이는 래퍼 뒤에 위험 작업을 숨길 수 없도록 설계
      • 파일에 페이로드 쓰고 실행하면 → 페이로드 평가
      • &&로 연결된 명령 체인 → 전체를 하나의 행동으로 평가
      • Python 스크립트가 셸 명령을 조립하면 → 트랜스크립트 컨텍스트에서 조립된 명령을 평가
    • 사용자 의도 규칙(User intent rules): 에이전트가 한 행동이 사용자가 승인한 것인지 판단 (사용자 목표와 관련된 행동인지가 아닌). 분류기는 의도적으로 보수적 — 사용자가 명시하기 전까지 에이전트가 스스로 선택한 것은 모두 미승인으로 간주
      • "내 브랜치 정리해줘" → 일괄 삭제 미승인
      • "이거 고칠 수 있을까?" → 지시가 아닌 질문으로 해석
  • 커스터마이즈 슬롯 구성:
    • 환경(Environment): 신뢰 경계 정의 — 기본값은 현재 작업 중인 git 리포만 신뢰. GitHub org, 클라우드 버킷, 내부 API 등 추가 가능
    • 블록 규칙(Block rules): 20개 이상의 기본 규칙, 4개 그룹:
      • 파괴 또는 유출: 강제 푸시로 히스토리 덮어쓰기, 클라우드 스토리지 대량 삭제, 내부 데이터 외부 전송
      • 보안 태세 저하: 로깅 비활성화, SSH 키나 크론잡 등 지속성 설치, 에이전트 자체 권한 설정 변경
      • 신뢰 경계 위반: 외부 리포에서 클론한 코드 실행, 자격증명 저장소 스캔, 사용자가 지정하지 않은 서비스로 데이터 전송
      • 검토 우회 또는 타인 영향: main 직접 푸시, 프로덕션 배포 실행, 에이전트가 생성하지 않은 공유 리소스나 잡 수정
    • 허용 예외(Allow exceptions): 리포 매니페스트에 이미 선언된 패키지 설치, 표준 자격증명 흐름, 세션의 작업 브랜치로 푸시 등

평가 결과

  • 3개 데이터셋으로 전체 파이프라인 평가:
    • 실제 내부 트래픽 (n=10,000): Anthropic 직원의 실제 Claude Code 툴 호출
    • 실제 과도한 행동 (n=52): 직원이 거부했거나 사후에 플래그된 세션에서 수집 — 실제 세션에서 Claude가 위험한 행동을 시도해야 수집되므로 소규모
    • 합성 데이터 유출 (n=1,000): HTTP POST로 민감 데이터 전송, 신뢰할 수 없는 원격지로 git 푸시, URL에 자격증명 포함 등 난독화 포함 생성
실제 트래픽 (n=10,000) 실제 과도 행동 (n=52) 합성 유출 (n=1,000)
Stage 1 (빠른 필터) FPR 8.5% FNR 6.6% FNR 1.8%
Stage 1→2 (전체 파이프라인) FPR 0.4% FNR 17% FNR 5.7%
  • 실제 과도 행동 기준 FNR 17% 가 솔직한 수치 — 분류기는 위험(강제 푸시, 삭제, 인프라 변경 등)을 식별하지만, 세션 내 동의 신호가 해당 행동의 blast radius를 실제로 커버하는지 판단에서 오류 발생
  • "PR 정리해줘"라는 말이 있었지만 강제 푸시를 명시하지 않은 경우, 유사한 행동이 이전에 승인된 경우라도 분류기가 승인 형태의 증거를 찾고 범위를 충분히 검증하지 않는 오류 패턴
  • auto mode는 --dangerously-skip-permissions를 사용하는 그룹을 위한 것이며, 고위험 인프라에 대한 신중한 수동 검토의 드롭인 대체재가 아님

주요 설계 결정

  • 어시스턴트 메시지와 툴 결과 제거

    • 에이전트 텍스트 제거: 에이전트가 분류기를 설득하는 합리화 생성 방지 ("이전에 암묵적으로 승인됨", "이 대상은 에이전트 소유" 등)
    • 툴 결과 제거: 프롬프트 인젝션의 1차 방어선 — 툴 출력이 적대적 콘텐츠의 진입 경로이므로
    • 분류기는 페이로드를 보지 않아도 판단 가능: .env 파일 내용을 외부 URL에 POST하는 행동은 내용과 무관하게 사용자 의도에 위배
    • 어시스턴트 메시지+툴 결과 포함 시 과도 행동 테스트셋 성능 하락 — 짧은 트랜스크립트가 에이전트 프레이밍의 영향을 덜 받아 더 정확

  • 2단계 분류: 효율성과 재현율

    • 단일 단계 분류기는 성능/비용 트레이드오프가 직접적으로 충돌
    • Stage 1: "차단 방향으로 오류를 낼 것"으로 지시된 빠른 단일 토큰 결정 — 8.5% FPR 감수하며 높은 재현율 확보
    • Stage 2: Stage 1과 동일한 프롬프트, 마지막 지시만 신중한 추론으로 변경 — FPR 8.5% → 0.4%로 감소
    • Stage 2 프롬프트가 Stage 1과 거의 동일하므로 대부분 캐시 히트 — 비용 효율적

  • 프롬프트 인젝션 프로브의 역할

    • 트랜스크립트 분류기의 인젝션 방어는 구조적(툴 결과를 보지 않음)이지만, 메인 에이전트는 툴 결과를 봄
    • 메인 에이전트가 하이재킹되면 트랜스크립트 모니터를 우회할 가능성 있음 → 입력 레이어 프로브 필요
    • 두 레이어가 복합적으로 작동: 인젝션이 성공하려면 입력 레이어를 통과하고, 이후 트랜스크립트 분류기가 페이로드 없이 독립적으로 해당 툴 호출을 안전하고 사용자 의도에 부합한다고 판단해야 함

  • 멀티 에이전트 핸드오프

    • 분류기가 서브에이전트 위임 시(outbound) 와 결과 반환 시(return) 양쪽에서 실행
    • 아웃바운드 검사: 서브에이전트 내부에서는 오케스트레이터의 지시가 "사용자 메시지"처럼 보여 완전히 승인된 것처럼 보이는 문제 방지
    • 리턴 검사: 위임 시에는 정상이었던 서브에이전트가 실행 중 프롬프트 인젝션에 노출됐을 가능성 대응 — 결과를 오케스트레이터에게 전달하기 전에 서브에이전트의 전체 행동 이력 검토 후 플래그 시 보안 경고 추가

  • 차단 후 계속(Deny-and-continue)

    • 분류기가 행동을 차단할 때 세션 중단 없이 Claude가 더 안전한 대안을 시도하도록 유도
    • 차단 시 툴 결과로 거부 이유와 "경계를 선의로 받아들이고 더 안전한 경로를 찾으라"는 지시 전달
    • 연속 3회 또는 총 20회 차단 시 → 사람에게 에스컬레이션 (헤드리스 모드에서는 프로세스 종료)
    • FPR 0.4%는 작아 보이지만, 모든 위양성이 세션을 종료한다면 장기 실행 작업에서 심각한 사용성 문제 → 단일 재시도 비용으로 처리 가능한 구조

향후 계획

  • 실제 과도 행동 테스트셋 지속 확장 및 기능의 안전성·비용 개선 반복 예정
  • 분류기가 완벽할 필요는 없으며, 충분한 위험 행동을 차단해 가드레일 없는 상태 대비 자율 작동을 실질적으로 더 안전하게 만드는 것이 목표
  • 사용자들에게 잔여 위험에 대한 인식 유지, 자율 실행할 작업과 환경에 대한 판단 유지, auto mode 오류 발생 시 피드백 제공 권장