▲

AI와 Exploit 개발의 미래: 자동화는 우리의 역할을 어떻게 바꿀 것인가 [유튜브]

 (youtube.com)
7P by neo 2일전 | ★ favorite | 댓글과 토론
  • 미국 국방고등연구계획국(DARPA)의 AI 및 사이버 보안 기술 자문인 Perri Adams 의 OffensiveCon 컨퍼런스 키노트
  • AI는 익스플로잇 개발 및 취약점 자동화 분야에 점차 더 많이 적용되고 있음
  • 실제 OpenSSH pre-auth 더블 프리 취약점 사례를 분석하며 AI가 익스플로잇 개발에 어떻게 활용될 수 있는지 탐구함
  • 대형 언어 모델(LLM) 기반 AI는 일부 서브태스크(예: heap 그루밍 이해)는 도움을 주지만, 전체 익스플로잇을 자동으로 생성하는 데는 미흡함
  • 전문가 시스템(예: 심볼릭 엔진)과 AI 결합이 실질적 진전을 가져오고 있음
  • AI가 단기간 내에 사람을 대체하진 않겠지만, 보조도구로서의 역할 확대와 특정 부분 자동화 기여가 기대됨

서론

  • OffensiveCon 컨퍼런스의 기조 연설 : AI와 익스플로잇 개발의 미래
    • 발표자 Ms. Perri Adams는 DARPA 국장 특별보좌관으로 AI 및 사이버 보안 기술 자문
    • DEF CON CTF 운영진 출신의 해킹 대회 참가자
  • 보안 분야에서 '자동화'와 'AI 활용' 논의가 매우 활발하게 이루어지는 맥락 설명
  • DARPA 및 다양한 산업 경험, 그리고 CTF(name: Capture the Flag) 참여 경험을 기반으로 이야기 전개

실제 사례: OpenSSH 더블 프리(pre-auth) 취약점과 AI

  • 2023년 2월, Qualys가 OpenSSH의 pre-auth 환경에서 더블 프리 취약점을 OSS-SEC ML에 보고
  • 특정 설정과 조건에서만 트리거되는 복잡한 취약점임을 설명
  • 이 취약점은 복잡한 C 코드, 프로세스 분리, 다양한 함수 호출 및 backward compatibility 문제 등으로 인해 익스플로잇이 매우 어려운 구조임
  • 힙 구조(Glibc의 tcash, unsorted bin 등), 인증 전 패킷(Custom 리스트 조작), OpenSSL, 함수 포인터 등 다양한 플레이그라운드가 존재함을 분석
  • 실제로 heap을 조작(grooming)해 use-after-free를 발생시키고, 이론적으로는 함수 포인터를 덮어쓸 수 있는 가능성을 탐색함

AI 도구의 실제 적용

  • ChatGPT(3.5, 4.0), Claude 등 LLM 계열 AI를 활용하여 해당 취약점 분석 시도
  • 취약점의 근본적 구조 및 heap 할당 과정을 정리/요약하는 등 일부 서브태스크에는 유의미한 성능을 보임
  • 그러나, 전체 익스플로잇 코드 자동 생성, 복잡한 heap 조작, OpenSSL 내부 흐름 해석 등에서는 한계 확인
  • 일부 AI는 비현실적이거나 부정확한 PoC(Proof of Concept)를 자신감 있게 제시하거나, 윤리적 이유로 코드 생성을 거부함
  • 오히려 코드 수정/패치 제안, 위험 구간 요약 등에서 실질적 방어 보조 효과가 있음

AI와 전문가 시스템(심볼릭 프레임워크)의 결합

  • 단일 LLM 기반 AI보다 Lean proof engine과 같은 전문가 시스템과 결합된 구조가 수학 올림피아드 문제 등에서 더 뛰어난 결과를 보여줌
  • IMO와 같이 형식이 잘 갖춰진 문제에선 AI-심볼릭 시스템이 보상 및 검증 역할을 완수하며 성능 상향 가능
  • 익스플로잇 자동화 역시 코드 QL, IDA, Binary Ninja 등 분석 도구와 AI 결합에 의해 진전되고 있음

익스플로잇 자동화 연구와 현실

  • DARPA Cyber Grand Challenge 등 자동 익스플로잇 생성 경진 이후, 연구는 복잡도를 낮춘 환경에서 유의미한 진전을 이룸
  • 주요 연구들은 문제를 세분화해 익스플로잇 템플릿 및 타겟별/취약점별 자동화 기법을 제안
  • 범용 자동화 도구보다 특정 취약점 유형/대상에 특화된 서브알고리듬 조합이 실제 성과에 가까움
  • LLM은 여전히 "열정적 조수" 수준의 역할이 강함—전문가의 업무를 직접 대체하기보다는 보조하는 방향에 가깝게 기여 중

결론 및 전망

  • AI가 곧 전체 익스플로잇 개발을 완전히 자동화할 것이라는 예상은 과장된 면이 많음
  • 가장 효과적인 접근은 직접 익스플로잇 개발과, AI를 서브태스크(예: 정보 정리, 코드 수정, 반복 테스트) 보조로 병행하는 방식임
  • 자동화의 진보는 인간 창의성을 일정 부분 뒤따름, 실제 취약점의 복잡도/변화성에 AI가 모두 적응하기는 어렵다는 점도 여전함
  • 앞으로는 기존의 추상화 계층/전문가 시스템과 AI 결합을 활용한 반자동화, 특정 취약점 유형에 집중한 자동화 등의 방식이 핵심 성장 영역이 될 것으로 전망됨
  • 역공학, 애플리케이션 보안, 펜테스팅 분야에서 실질적 가치와 적용 케이스가 빠르게 늘어날 것임