21개 언어로 운영 중인 iOS SNS 앱(약 13만 줄)을 LLM 에이전트로 감사하는 파이프라인을 만들어 하루 동안 돌린 기록입니다.

  • 버그를 찾는 파인더와 검증자의 역할을 분리하고, 판정 기준을 다수결이 아니라 "반박 실패"로 잡아 오탐 0을 만들었습니다
  • 발견 보고는 JSON 스키마 강제 출력으로 받아 환각 보고를 구조적으로 차단했습니다
  • 이미 아는 버그 목록을 프롬프트에 주입해 반복 발견을 막고, 신규 발견 0이 나올 때까지 라운드를 반복하는 종료 조건을 썼습니다
  • 결과: 6라운드, 에이전트 약 180개, 확정 버그 55건 수리, 검증 단계가 잡아낸 반쪽짜리 수정 3건

어떤 렌즈로 fan-out 했는지, 왜 고친 코드를 다시 반박하게 했는지 같은 설계 판단과 함께, 정적 감사가 못 보는 것(한계)도 같이 정리했습니다.

댓글과 토론