# Cloudflare vs Perplexity 논쟁. 하지만 웹 사용자 모두가 알아야 하는.

> Clean Markdown view of GeekNews topic #22368. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=22368](https://news.hada.io/topic?id=22368)
- GeekNews Markdown: [https://news.hada.io/topic/22368.md](https://news.hada.io/topic/22368.md)
- Type: news
- Author: [haebom](https://news.hada.io/@haebom)
- Published: 2025-08-06T19:31:56+09:00
- Updated: 2025-08-06T19:31:56+09:00
- Original source: [haebom.dev](https://haebom.dev/qrx6zk25rn9grmv314y5)
- Points: 7
- Comments: 0

## Summary

AI 기반 **검색엔진 Perplexity**가 **Cloudflare**로부터 ‘웹 표준 위반’ 문제로 공개 비판을 받으면서, **크롤링 윤리**와 AI 시대의 **robots.txt 준수** 이슈가 본격적으로 부상합니다. 특히 Perplexity가 차단 우회를 시도하며 사이트 데이터를 수집한 점, 그리고 ‘사용자 대신의 에이전트’ 논리를 내세운 해명은 웹 생태계의 **투명성**과 **저작권 보호** 논쟁을 촉진하고 있습니다. 앞으로 AI 크롤러 검증, 콘텐츠 접근 방식, 법적·기술적 규제 등 **AI 시대 인터넷 질서** 재편 논의가 가속화될 전망입니다.

## Topic Body

#### 🚨 사건 개요  
2025년 8월 4일, Cloudflare가 AI 검색엔진 Perplexity를 "웹 표준 위반자"로 공개 비판  
  
#### ⚔️ 양측 주장  
  
##### Cloudflare 주장: "스텔스 크롤링"   
- Perplexity가 크롤링 차단을 **4단계로 우회**  
  1. 공식 봇으로 접근 시도  
  2. 차단되면 즉시 전술 변경  
  3. Chrome 브라우저로 위장  
  4. IP 주소 바꿔가며 재접근  
- robots.txt로 차단한 사이트도 무단 수집해서 요약 제공  
  
##### Perplexity 반박: "사용자 대리 에이전트"  
- 전통적 크롤러가 아닌 **사용자 요청 처리용 AI**  
- 콘텐츠를 저장하지 않고 실시간 답변에만 사용  
- Cloudflare가 BrowserBase 트래픽을 잘못 분석했다고 주장  
  
#### 💡 저자 의견: Cloudflare가 더 합리적  
1. **신원 위장**은 정당한 행위가 아님  
2. **robots.txt**는 1994년부터 지켜온 웹 표준  
3. 원본 사이트 수익을 빼앗는 **기생적 구조**  
4. OpenAI처럼 표준을 준수하는 모범 사례 존재  
  
#### 🔮 향후 전망  
- robots.txt의 AI 시대 개정  
- AI 크롤러 인증 체계 구축  
- 콘텐츠 접근 유료화 확산  
- 법적 규제 강화

## Comments



_No public comments on this page._