Cloudflare vs Perplexity 논쟁. 하지만 웹 사용자 모두가 알아야 하는.

🚨 사건 개요

2025년 8월 4일, Cloudflare가 AI 검색엔진 Perplexity를 "웹 표준 위반자"로 공개 비판

⚔️ 양측 주장

Cloudflare 주장: "스텔스 크롤링"

• Perplexity가 크롤링 차단을 4단계로 우회
  1. 공식 봇으로 접근 시도
  2. 차단되면 즉시 전술 변경
  3. Chrome 브라우저로 위장
  4. IP 주소 바꿔가며 재접근
• robots.txt로 차단한 사이트도 무단 수집해서 요약 제공

Perplexity 반박: "사용자 대리 에이전트"

• 전통적 크롤러가 아닌 사용자 요청 처리용 AI
• 콘텐츠를 저장하지 않고 실시간 답변에만 사용
• Cloudflare가 BrowserBase 트래픽을 잘못 분석했다고 주장

💡 저자 의견: Cloudflare가 더 합리적

1. 신원 위장은 정당한 행위가 아님
2. robots.txt는 1994년부터 지켜온 웹 표준
3. 원본 사이트 수익을 빼앗는 기생적 구조
4. OpenAI처럼 표준을 준수하는 모범 사례 존재

🔮 향후 전망

• robots.txt의 AI 시대 개정
• AI 크롤러 인증 체계 구축
• 콘텐츠 접근 유료화 확산
• 법적 규제 강화