프롬프트 인젝션 막을 수 없다면? Meta가 제안한 설계 원칙 3가지
(aisparkup.com)Simon Willison이 프롬프트 인젝션에 관한 최신 연구 2편을 분석한 글을 발표.
AI 프롬프트 인젝션 공격은 현재 방어 기술로 완벽히 막기 어렵다. Meta는 이를 인정하고, 시스템 설계 원칙인 "Agents Rule of Two"를 통해 위험을 최소화할 것을 제안한다.
주요 내용:
- 위험과 취약성: 공격자가 AI에 악의적 명령을 삽입해 개인정보 유출이나 피싱 유발 가능. 12개 방어 시스템이 90% 이상 뚫린 연구 결과 강조.
-
Rule of Two 원칙: AI 에이전트가 다음 3가지 속성(A, B, C) 중 동시에 2개만 가지도록 설계.
- [A] 신뢰 불가능한 입력 처리
- [B] 민감 시스템/개인정보 접근
- [C] 상태 변경이나 외부 통신
- 예: 이메일 봇은 A(입력) + C(통신) 가능하나, B(개인정보)는 금지.
- 현실적 접근: 완벽 방어가 아닌 설계로 위험 줄이기.
결론: 프롬프트 인젝션은 피할 수 없으므로, Rule of Two 같은 원칙으로 AI 시스템을 재설계하라. 실용적 대안으로 평가됨.
Simon Willison은 Django를 만든 유명한 웹개발자이자 LLM 도구를 개발하고 AI에 관한 글도 많이 쓰고 발표도 많이 하고 있는 분이죠. 이 분은 AI 보안에 관해서도 많은 관심을 보이고 글도 많이 올리고 있습니다. 그래서 이번 글 맥락상 "AI 보안 전문가"라고 해도 크게 틀린 내용이라고 생각하진 않아요. AI 보안에 대해서도 충분한 지식과 식견이 있다고 생각해 부러 그렇게 썼습니다. (그러니 인젝션은 아니에요^^)
요약하자면 설명의 편의성을 위해서 그렇게 타이틀을 붙이셨다는 말씀인가요? 블로그의 about 페이지에도 AI 섹션이 있긴 하지만 그렇다고 해서 AI 보안 전문가 타이틀을 타인이 붙여줄 만큼 저 분의 주요한 업적인지는 좀 납득이 잘 안되네요
일단 요지는 알겠습니다