Show GN: agents.txt — AI 에이전트를 위한 문서 사이트맵 표준 제안

튜닝하지 않은 일반적인 AI 에이전트가 웹 문서에서 내용을 찾을 때 사람처럼 페이지를 하나씩 열어보는 게 현재 방식입니다.
HTML 페이지마다 사이드바, 헤더, 푸터가 딸려오니 정작 필요한 내용보다 노이즈가 훨씬 많고
651페이지짜리 문서 사이트를 탐색하려면 토큰이 수백만 단위로 소모됩니다.

robots.txt는 크롤러한테 "여기 들어오지 마"라고 알려주는 거고
sitemap.xml은 검색엔진한테 URL 목록을 건네주는 건데
둘 다 AI 에이전트가 원하는 페이지를 빠르게 찾는 데는 별 도움이 안 됩니다.
llms.txt도 자유 형식 설명문이라 구조화된 탐색에는 맞지 않습니다.

agents.txt는 문서 사이트가 /.well-known/agents.txt 경로에 올려두는 구조화된 인덱스 파일입니다.
AI 에이전트는 이 파일 하나만 읽으면 651페이지 기준 약 3,200토큰으로
"프롬프트 캐싱 관련 페이지가 어딘지", "Python SDK 퀵스타트는 뭔지" 같은 질문에 페이지를 크롤링하지 않고
바로 답을 얻을 수 있습니다.

이 제안 프로젝트에선 claude-code, gpt-codex 공식 문서에 대한 네비게이션을 TXT, MD, JSON, XML 네 가지 포맷을 지원합니다.
12가지 페이지 타입 어노테이션과 SDK 패턴 압축 기능도 들어 있습니다.
Vercel이 agent-browser로 토큰 사용량을 93% 줄인 것과 같은 발상인데, 개별 앱이 아니라 웹 표준 수준에서 접근해 보았습니다.

에이전트로 데모를 하는게 가장 좋은 방식일 것 같아 NAVIGATOR.md 라는 에이전트를 프로젝트 루트에 작성해 놓았습니다.
레퍼런스 구현은 https://agentnav.baekenough.com 에서 확인할 수 있습니다.

피드백 주시면 감사하겠습니다.