# Cloudflare, 에이전트를 위한 Markdown 변환 전송 기능 도입

> Clean Markdown view of GeekNews topic #26651. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=26651](https://news.hada.io/topic?id=26651)
- GeekNews Markdown: [https://news.hada.io/topic/26651.md](https://news.hada.io/topic/26651.md)
- Type: news
- Author: [neo](https://news.hada.io/@neo)
- Published: 2026-02-13T11:46:01+09:00
- Updated: 2026-02-13T11:46:01+09:00
- Original source: [blog.cloudflare.com](https://blog.cloudflare.com/markdown-for-agents/)
- Points: 13
- Comments: 0

## Summary

AI 크롤러와 에이전트가 웹 트래픽의 주요 소비자로 부상하면서, Cloudflare가 **HTML을 Markdown으로 실시간 변환해 전송하는 기능**을 도입했습니다. `Accept: text/markdown` 헤더를 사용하면 네트워크 레벨에서 자동 변환이 이루어지며, 토큰 사용량이 약 80% 줄어 AI 모델의 처리 효율과 비용을 동시에 개선합니다. 또한 `x-markdown-tokens`와 `Content-Signal` 헤더를 통해 토큰 추정치와 AI 활용 정책을 함께 제공해, 콘텐츠 제공자가 에이전트 트래픽을 정교하게 제어할 수 있도록 지원합니다.

## Topic Body

- **AI 크롤러와 에이전트 중심 트래픽 증가**에 따라, 웹 콘텐츠를 사람뿐 아니라 **기계가 직접 소비**하는 구조로 전환 중  
- HTML을 markdown으로 변환하면 **토큰 사용량이 약 80% 감소**, 비용과 처리 효율 개선  
- `Accept: text/markdown` 헤더 기반 **실시간 HTML→Markdown 변환**을 네트워크 레벨에서 지원  
- `x-markdown-tokens`, `Content-Signal` 헤더로 **토큰 수 추정치와 AI 활용 정책** 함께 제공  
- AI 봇의 콘텐츠 소비 방식을 Radar에서 추적 가능하며, **Pro 이상 플랜에서 베타 무료 제공**  
  
---  
  
### 배경: AI 에이전트 중심으로 바뀌는 웹 트래픽 구조  
- 온라인 콘텐츠 발견 방식이 전통적 검색 엔진 중심에서 **AI 크롤러와 에이전트 중심 구조**로 빠르게 이동 중  
  - 과거에는 SEO가 트래픽을 좌우했으나, 이제는 구조화된 데이터를 요구하는 AI 시스템이 주요 소비 주체로 등장  
- 기업은 사람 방문자뿐 아니라 **에이전트를 1등 시민(first-class citizen)** 으로 고려해야 하는 상황  
- 기존 웹은 사람을 위해 설계된 HTML 기반 구조로, AI가 처리하기에는 불필요한 요소가 과다한 상태  
  
### 왜 Markdown인가  
- HTML은 시맨틱 의미와 무관한 `<div>`, `<script>`, 네비게이션 요소 등으로 인해 **토큰을 낭비하는 구조**  
  - 예시: `## About Us`는 약 3토큰, 동일한 HTML `<h2 class="section-title"...>`는 12~15토큰 소모  
- 해당 블로그 글 기준 HTML 16,180토큰 → Markdown 3,150토큰으로 약 **80% 토큰 절감**  
- Markdown은 명시적 구조를 제공해 **AI 처리 효율성과 결과 품질 개선**  
- 현재 대부분의 AI 파이프라인은 HTML→Markdown 변환 단계를 포함하지만  
  - 연산 비용 증가  
  - 처리 복잡도 상승  
  - 작성자의 의도와 다를 가능성 존재  
  
### Markdown for Agents: 네트워크 레벨 자동 변환  
- Cloudflare 네트워크에서 **실시간 HTML→Markdown 변환 지원**  
  - Enabled zone에서 content negotiation 기반 동작  
- 클라이언트가 `Accept: text/markdown` 헤더 포함 요청 시  
  - 원본 HTML을 origin에서 가져온 후  
  - 네트워크에서 Markdown으로 변환해 반환  
- 응답 예시  
  - `content-type: text/markdown`  
  - `vary: accept`  
  - `x-markdown-tokens: 725` 헤더 포함  
- `x-markdown-tokens`는 Markdown 문서의 **추정 토큰 수 제공**  
  - 컨텍스트 윈도우 계산  
  - 청킹 전략 결정 등에 활용 가능  
  
### Content Signals Policy 연계  
- **[Content Signals](https://blog.cloudflare.com/content-signals-policy/) [프레임워크](http://contentsignals.org/)** 와 통합  
- Markdown 응답에는 기본적으로  
  - `Content-Signal: ai-train=yes, search=yes, ai-input=yes` 헤더 포함  
- AI 학습, 검색, 에이전트 입력 사용 허용 여부를 명시 가능  
- 향후 사용자 정의 정책 옵션 제공 예정  
  
### 적용 사례: Cloudflare Blog & Developer Docs  
- Developer Documentation 및 Blog에 기능 활성화  
- `curl -H "Accept: text/markdown"` 요청 시 Markdown 반환  
- 응답 상단에 YAML 메타데이터 포함  
  - title  
  - description  
  - image 등 구조화 정보 제공  
  
### Cloudflare 외부 문서 변환 방법  
- Workers AI `AI.toMarkdown()`  
  - HTML 포함 다양한 문서 형식 변환 및 요약 지원  
- Browser Rendering `/markdown` REST API  
  - 실제 브라우저 렌더링 후 Markdown 변환 지원  
  - 동적 페이지 처리 가능  
  
### Markdown 사용 추적: Cloudflare Radar  
- Radar AI Insights에서 **content_type 차원 추가**  
  - AI 봇 및 크롤러 대상 반환 콘텐츠의 MIME 유형 분포 확인 가능  
- 특정 에이전트별 Markdown 요청 필터링 가능  
  - 예: OAI-Searchbot(GPTBot)  
- 공개 API 및 Data Explorer 통해 데이터 접근 가능  
  
### 시작 방법 및 제공 범위  
- Cloudflare Dashboard → Zone 선택 → Quick Actions에서 기능 활성화  
- Pro, Business, Enterprise 플랜 및 SSL for SaaS 고객 대상  
- 현재 베타 단계, 무료 제공  
- 상세 정보는 Developer Docs에서 확인 가능

## Comments



_No public comments on this page._