▲

Cloudflare, AI 봇을 위한 크롤링별 과금(pay-per-crawl) 도입

 (blog.cloudflare.com)
5P by GN⁺ 2일전 | ★ favorite | 댓글 5개
  • AI 크롤러에 대해 콘텐츠 소유자가 접근 시 과금할 수 있는 새로운 서비스를 발표
  • 콘텐츠 제작자는 무료 허용, 완전 차단, 또는 유료 접근 허용의 세 가지 선택지를 가질 수 있음
  • 과금은 표준 HTTP 402 Payment Required 응답 기반으로 동작하며, Cloudflare가 결제 및 정산 인프라를 제공함
  • 크롤러와 콘텐츠 소유자는 프로그램 방식 인증 및 결제를 통해 투명성 및 보안을 확보함
  • 해당 서비스는 프라이빗 베타로 시작하며, 미래에는 다양한 사용 사례와 동적 과금 지원 확장 예정

AI 소비 환경의 변화

  • 많은 게시자, 콘텐츠 제작자, 웹사이트 소유자는 지금까지 AI 크롤러에 대해 모든 접근을 허용하거나 전면 차단하는 이분법적 선택만 가능했음
  • Cloudflare는 콘텐츠 소유자의 통제권 강화를 기본 원칙으로, AI 크롤러를 모두 차단하거나 무료로 허용할 수도 있고, 원하는 크롤러만 선택적으로 접근을 허용할 수도 있는 환경을 추구함
  • 수백 개의 미디어 기업, 퍼블리셔, 대형 소셜 플랫폼 등과의 논의를 통해, AI 크롤러에게 접근을 허용하되 보상을 받고자 하는 니즈가 큼을 확인함
  • 기존에는 크롤러와 개별 협상 후 접근을 허용해야 했으나, 규모와 협상력 부족으로 소규모 사이트엔 실질적으로 불가능했음

'크롤링별 과금(pay per crawl)' 모델의 도입

  • 무료 또는 차단이라는 극단적 선택 외에, Cloudflare는 접근 과금이라는 3번째 옵션을 제안함
  • 이를 활용해 콘텐츠 소유자는 인터넷 규모에서 디지털 자산 수익화가 가능해짐
  • 핵심 기술적 기반은 거의 잊혀진 HTTP 402 Payment Required 상태코드로, 크롤러가 결제 의사를 밝힐 경우 200 OK로 콘텐츠 제공, 그렇지 않으면 402 응답으로 가격을 통지함
  • Cloudflare는 Merchant of Record 역할로 결제 처리와 기술 인프라를 책임짐

퍼블리셔의 조정 권한과 가격 정책

  • 사이트 전체에 대한 고정 단가를 퍼블리셔가 설정 가능함
    • 허용(무료 제공)
    • 과금(설정된 가격에 결제 시 제공)
    • 차단(접근 불가 및 향후 관계 가능성 안내)
  • 크롤러 별로 과금 예외, 무료 접근 허용, 개별 협상 등 융통성 있는 정책 운용 지원
  • Cloudflare의 보안 정책(WAF, 봇 관리 등) 과 연동, 기존 방화벽을 우선 적용 후 pay per crawl 룰이 작동함

인증 및 결제 프로토콜: Web Bot Auth

  • 특정 크롤러만 결제 및 접근 권한을 받도록 설계되어, 크롤러 ID 조작(스푸핑) 방지
  • 크롤러는 Ed25519 키 페어 생성, JWK 형식 퍼블릭키 디렉토리 등록, Cloudflare에 정보 제출 필요
  • HTTP 메시지 서명(Signature-Agent, Signature-Input, Signature) 헤더로 신원 및 결제 의사 증명

유료 콘텐츠 접근 방식

  • 두 가지 프로토콜 지원
    • 반응형(발견 우선): 크롤러가 유료 URL 요청 시 402 응답과 가격 제시 → 동의 시 재요청에서 'crawler-exact-price' 헤더 포함
    • 선제적(의도 우선): 최초 요청에 'crawler-max-price' 헤더로 결제 상한 전달 → 기준액 이하면 200 OK와 과금 내역 전달
  • 가격 협상 및 결제 의사 표현이 프로그래머블 방식으로 지원됨

정산 및 재무 처리

  • 크롤러 운영자와 콘텐츠 소유자는 Cloudflare 계정에 결제 정보 등록 필요
  • 인증된 결제 요청 및 200 OK 응답마다 과금 이벤트 기록, Cloudflare가 집계 후 크롤러에 청구 및 퍼블리셔에 정산

에이전트 시대를 향한 변화의 시작

  • pay per crawl은 온라인 콘텐츠 통제 기술의 진화를 상징함
  • 프로그래머블 자산 가치 산정 방식을 통한 창작자 보호와 신규 BM(비즈니스모델) 확장 기대
  • 향후에는 콘텐츠 유형/경로별 동적 과금, AI 트래픽 규모 기반 요율 산정, 대규모 라이선스 관리 등 다양한 확장성 논의 중
  • HTTP 402 채택으로, AI/에이전트들이 디지털 자원 접근 조건을 프로그래머틱하게 협상하는 미래에 대응 가능

시작 안내

  • pay per crawl 기능은 프라이빗 베타로 우선 제공 중
  • 사용을 희망하는 크롤러 및 콘텐츠 제작자는 별도 신청 링크를 통해 문의 가능
  • Cloudflare는 DDoS 방어, 인터넷 접속 가속화, 인터넷 애플리케이션 구축, 해커 차단, Zero Trust 구현 등도 지원

관련 추가 정보 및 동향

  • 'Content Independence Day' 등 크롤러의 무상 크롤링 차단 움직임과 Cloudflare의 로봇 관리 솔루션 확대 중
  • 2024~2025년 사이 AI 크롤러 트래픽 18% 증가, GPTBot 305%, Googlebot 96% 성장 수치 발표
  • 공개키 기반 메시지 서명을 통한 크롤러 인증 강화 기능도 동시 도입
▲
kimjoin2 2일전  [-]

ai 봇인지 아닌지 뭘로 구분할까요

답변달기
▲
kimjoin2 2일전  [-]

ai 인지 아닌지를 떠나서 크롤링도 작정하면 못잡아내는대

답변달기
▲
howudoin 2일전  [-]

클라우드플레어가 돈벌겠다 라는거고
결국 돈벌려는 사람들은 다 저기로 모일것이고
클라우드플레어의 볼륨이 커질 것이고
데이터는 질적 하락을 겪을 것임
네이버도 인스타도 유튜브도 돈이 걸린 곳은 다 같은 경향성을 보인 부분임

답변달기
▲
GN⁺ 2일전  [-]
Hacker News 의견

  • 나는 이것이 우리가 원하던 마이크로 결제의 형태라고 생각함. Coinbase가 최근 암호화폐와 402 상태 코드를 이용한 라이브러리를 선보였는데, 그게 x402임 x402 GitHub 링크

    • 웹 비즈니스 모델이 광고 중개인 대신 이런 방식이어야 한다고 생각함. 광고기술 업계는 우리의 데이터를 영구적으로 착취하고, 미디어를 오염시켜 왔으며, 민주주의에도 해를 끼쳤다는 사실임. 수십 년 후에는 지금의 광고모델이 얼마나 해로운지 깨닫고, Big Tobacco(담배 거대기업) 규제하듯이 관련 회사를 규제·처벌할 수 있길 기대함. Brave의 BAT도 좋은 시도이지만, x402가 더 보편적 해법 느낌임. 다만 암호화폐에 대한 부정적인 인식, 그리고 광고업계의 강력한 영향력 때문에 이런 방식이 자리 잡기는 쉽지 않아 보임

    • 나는 암호화폐를 사용하고 싶지 않고, 암호화폐로 콘텐츠를 받고 싶지 않고, 중개인에게 수수료도 내고 싶지 않음. 마이크로 결제에 암호화폐를 쓰는 건 실제론 암호화폐 생태계를 띄워주기 위한 수단으로 느껴짐. 더불어 누구나 어떤 코인으로 결제할지 합의가 어려움. 각 사이트마다 각기 다른 코인만 받는 상황, 또는 단일 Stablecoin만 받아야 하는 상황이 나오면 통제도 어려워짐. Cloudflare의 방식이 더 나음. 이 방식은 수익을 내는 쪽에서 돈을 부담하고, 일반 사용자에게 돈을 요구하지 않음. 그리고 암호화폐도 안 쓰임

    • 내가 틀렸으면 좋겠지만, 마이크로 결제에 관한 기회를 이미 놓친 느낌임. 예전 피처폰의 선불 충전 방식처럼 “인터넷에 만 원 충전” 해두고, 사이트가 그걸 마이크로 결제로 차감하는 구조였다면 제대로 정착했을 것 같음. 하지만 지금은 이 시스템을 구현하고 시장 전체가 동참하려면 너무 많은 인프라와 합의가 필요해져서 시기를 놓친 것 같음

    • 이 기술이 정말 흥미롭게 느껴짐. 내가 정확히 이해했다면, 프로토콜이 주소와 결제 금액을 전달했을 때 바로 응답하도록 설계되지 않은 점이 궁금함. 이후 시도들이 금액과 지갑 주소의 체크섬이 반환될 때까지 막히고, 이 체크섬을 써드파티가 검증하도록 하면, 각각의 서버가 검증 로직을 구현하지 않아도 됨. 디지털 경제를 제대로 만들려면 두 가지가 필요함: 1) 콘텐츠가 요청자만 소비하고 복제/저장이 불가해야 함, 2) 콘텐츠에는 사람이 부여한 평판이나 등급 체계가 있어야 함. 첫 번째는 DRM이나 동형 암호로, 두 번째는 DAO화된 평가기관이 해결할 수 있을 것임. 평가자로 DAO에 참여하려면 블록체인 기반 실적 증명을 공유하고, 비싼 암호화폐를 예치(=라이선스)하게 해서 신뢰를 높일 수 있음. BitTorrent 인덱스처럼 콘텐츠와 평가자를 연결할 수 있어 중개 광고도 없앨 수 있음. 이 구조가 완성되면 전문성이 있는 사람들이 가치 창출에 참여하면서 중개자를 배제할 수 있고, 인간이 콘텐츠 경제의 중심이 될 수 있음. 콘텐츠의 이중 지불 문제를 풀면, 사람마다 지속적으로 보상을 받으면서 오프라인 전문성도 발전시킬 수 있음. 예를 들어 좋은 책이나 영화를 찾을 때 Amazon 혹은 Goodreads 평점을 참고하는데, 현재 평점 제공자는 그만큼의 이해관계가 없음. 그렇게 평점 콘텐츠가 평가 기관처럼 공신력이 생기면, 개별 작품의 가치도 더 높아질 수 있음. 모두가 스스로 명성을 보존하게끔 동기 부여됨

    • 이 개념 자체가 새로운 건 아님. 나도 2018년에 ln-paywall이라는, 402 상태 코드를 활용한 프로젝트를 만든 적 있음

  • 나는 이 방식이 전혀 잘못된 접근이라고 봄. Cloudflare는 단순히 “예전처럼 크롤링하되, 이제는 돈을 더 내야 함”이라고만 하고, 그에 합당한 가치를 제공하지 않음. 크롤링은 AI 회사나 새로운 검색엔진에 경쟁 우위가 아님. 비용만 들고 주목을 분산시키는 작업임. 이들은 인프라를 공유해서 협력하는 게 합리적임. 각 회사가 따로 사이트에 접근할 필요 없이, 하나의 크롤러만 모든 사이트를 방문하고, 회사들은 자신만의 필터를 설정해 일치하는 URL에 비례해서 기여하는 구조가 이상적임. 여러 번의 트래픽 대신, 단일 크롤러를 두고, robots.txt 규정도 기술적·계약적으로 강제하면, 원하지 않는 콘텐츠는 제공되지 않고, 그걸 우회하려면 본인들이 자체 크롤러를 기술적으로 유지해야 하니 상당히 부담임. 여기에 결제를 추가한다 해도, 미리 본 적도 없는 무수한 쓰레기성 페이지에 결제하게 될 가능성이 높아 가치가 없음. 이 방안이면, AI 회사나 검색엔진 입장에서도 싸고 쉽게 크롤링할 수 있고, 사이트 입장에서도 부하를 대폭 줄이고 차단 효과를 높일 수 있음. 그런데 Cloudflare는 그냥 “돈 내라” 식이어서, 너무 상상력이 부족하고 설득력이 없음

    • 나는 여기서 제대로 된 유인 구조를 보려면 시장 반대편을 봐야 한다고 생각함. 콘텐츠 생산자는 사이트에 트래픽이 몰리는 게 문제가 아니라, 그 트래픽에 적정 대가를 받지 못하는 게 문제임. 8개 회사가 내 사이트 모든 페이지를 하루 10번씩 방문하더라도, 시장가격 수준의 대가만 받는다면 아무 문제 없음. 이제 8개 회사는 비용 부담이 외부화되지 않아 협력해서 통합 크롤링을 하도록 동기가 생김. 이 방식이 오히려 모두에게 더 합리적 임

    • Common Crawl이 사실 그런 역할을 하기로 했지만, 아이러니하게도 AI 스타트업들이 그 데이터를 너무 탐욕스럽게 가져가려다보니 최근에는 아예 쓸 수 없을 정도로 부하가 심함. 이와 같은 문제 때문에 웹 크롤링 대행 시장이 열릴 여지가 있으며, 회사 입장에서는 크롤러를 아웃소싱하는 게 여러모로 유리하다고 봄. 물론 이게 충분히 비즈니스 시장을 형성할 만큼 큰 니즈인지는 아직 확실치 않지만, 제대로 된 웹 데이터 접근이나 크롤링 역량이 필요하다는 점만은 분명함

    • AI 회사에게 웹 크롤링이 경쟁 우위가 아니라는 의견과 달리, 최신 정보나 특정 출처를 빠르게 반영하는 능력은 분명 경쟁력임. 문제는 이들이 사이트 콘텐츠를 가져갈 때는 사이트에 아무 대가도 주지 않고, 트래픽을 유입시키지도 않으니 웹 생태계를 파괴하게 됨. 특히 사이트 입장에선 AI 봇이 내 정보를 읽어도 내게 돌아오는 가치가 0임

    • 크롤링 트래픽이 설령 어느 정도 돈을 준다면, 인프라 비용 감당은 문제없음. 과거에도 대용량 트래픽 때문에 사이트가 죽는 일은 드물었음. 최근에는 1) 점점 더 많은 사이트가 봇, 스크래퍼, 등등을 직접 차단하거나, 2) 그렇지 못하는 곳(접근 통제가 어렵거나 수익 구조가 없는 사이트)은 폭격당함. 만약 이런 구조에서 실제로 사이트에 돈이 지급된다면, 최소한 과도한 봇 트래픽으로 인한 부담은 커버 가능하고 그 이상 얻을 수 있음

    • 그래도 이런 비용 구조가 협력의 직접적 인센티브로 작용하지 않을까 생각함

  • 결국 이런 점 때문에 Google이 AI에서도 계속 우위를 갖게 됨. 대부분은 구글봇이 사이트를 크롤링하길 원함. 덕분에 트래픽이 생기고, 구글은 그 인덱스를 활용해서 AI 학습에도 사용함. 독점적일 수 있으나, 쌍방에 이익이 있다고 봄. 하지만 OpenAI, Anthropic, Meta처럼 크롤링해가면서 아무런 보상도 안 주는 회사라면, 내 사이트가 크롤링되길 원할 사람이 거의 없을 것 같음. 그래서 Cloudflare의 이 정책은 시의적절하다고 생각함. 만약 이 정책이 성공한다면, Cloudflare 입장에서도 엄청난 기회임

    • Google의 “AI Overview” 때문에 클릭율이 크게 떨어지고 있음. 예전엔 구글이 2페이지를 크롤링하면 1명 트래픽이 왔지만, 6개월 전엔 6:1, 지금은 18:1임. 뭐가 달라졌냐면 AI Overviews 때문임. OpenAI는 더 심해서 6개월 전 250:1, 지금은 1,500:1로, AI가 원문 링크 유입을 다 가로채고 있음. (트위터 참고자료: https://twitter.com/ethanhays/status/1938651733976310151)

    • 나는 스타트업이라서 내 사이트가 AI에 크롤링되는 것을 오히려 원함. 사람들이 ChatGPT에 “$CompanyName이 뭐야”라고 물어볼 때, 우리 회사의 장점과 핵심 메시지가 제대로 반영되길 원함. 전통적인 SEO 콘텐츠 또한 AI 학습 데이터로 활용될 수 있음. AI 도구에 웹의 장단점을 요약해달라고 하면, "top 10 tools for X"처럼 어떤 회사가 직접 자사 블로그에 올린 리스트형 글이 종종 출처가 됨. 관광청 같은 대기업, 자기 관점을 세계에 설득력 있게 퍼뜨리려는 조직도 마찬가지임

    • OpenAI, Anthropic, Meta가 인간이 직접 쓴 콘텐츠를 크롤링해가고 아무런 보상도 못 받는다는 점에 대해 언급했는데, 사실 정부 기관이나 대기업 같은 곳은 자신들이 크롤링되는 게 오히려 이득일 때도 많음. 예를 들어 글로벌 AI가 “캥거루를 어떻게 볼 수 있죠?”라는 질문에 호주 대신 뉴질랜드 동물원(뉴질랜드 대표 항공사와 동물 등)을 추천한다면 문제임. 올바른 정보가 AI 모델에 반영돼야 매우 광범위한 사람들에게 영향력 행사 가능함

    • Google은 Google Books와 같은 프로젝트도 있어서, 다른 서구기업들은 이만큼 대규모로 학습 자료를 확보하기 어렵고, 중국 기업들은 저작권에 크게 신경 쓰지 않기 때문에 이 점이 큰 차이임

    • Google이 AI에서 꼭 우위라고 생각하지는 않음. 소비자 입장에서는 Google의 AI Overview가 엄청나게 틀린 경우가 많음. 기술적으론 뛰어난 API나 품질, 기능을 제공할 수 있지만, 일반 유저에게 보이는 주된 AI 경험은 별로임

  • 기술 자체는 멋지지만, 모든 크롤러가 Cloudflare만 써야 하는 점은 마음에 안 듦. Google Chrome 개발자들이 Web Monetization API를 제안했던 적이 있던 걸로 기억하는데, 분산화된 결제 구조를 도입하면 어느 특정 회사에 의존하지 않아도 됨

    • 나는 Cloudflare에 대해 신뢰가 크지 않음. 오랫동안 내 RSS 리더를 그들의 Verified Bots 리스트에 올리려 했는데, 지원 신청서가 어디로 가는지 모를 정도임

  • 좋은 방향이긴 한데, 아직 부족한 점이 많음. 가장 이상적인 구조는 이용 목적에 따라 차등 요금을 매기는 것임. 예를 들어 “연구 목적”으로 사이트를 크롤링한다면 거의 무료여야 함. “상품화할 AI 학습용”이라면 아주 비싸야 한다고 생각함. 이런 방식을 고민하게 된 게 유감이지만, 지금은 예전 방식이 사실상 금지될 정도라서 현실적으로 대가 없는 무료 대공개는 불가능함. 사실 누군가가 모든 정보를 무료로 제공하는 세계 도서관을 만들고, 이에 맞춰 ip 보상 체계도 있으면 정말 인류 전체가 이득일 거라 생각함. 기술적 한계 대부분이 이미 해소된 시대임에도, 오늘날의 사실상 ‘카르텔식’ 제한만 계속됨. 지금은 어쩔 수 없이 “그럼 차라리 대가를 내라” 쪽임

    • 이렇게 되면 결국 수익을 노리는 사람이 온갖 허점을 찾아내 악용하거나, 의도와 달리 데이터를 되팔거나, 시스템에 침투하는 사례가 많아짐. 예를 들어 “연구용은 무료”라 했을 때도 “나 연구하러 들어옴!”이라 주장만 하고, 사실상 자신의 계열사에 데이터를 팔아 이득을 챙길 수 있음

    • 이런 ‘모든 데이터를 무료로 공유하는 도서관’이 기술적으로는 가능해 보여도, 경제적 지속성이 핵심 문제임. 접근 비용이 너무 낮아지면 오히려 무한 복제나 과도한 남용이 일어나 시스템이 붕괴됨. 오히려 일정 수준의 제한이 협력과 품질 향상에 유리한 동기를 유발함. (생물학에서 r/K 전략처럼) 제한이 있을 때 개체당 가치가 높아, 높은 품질의 정보·서비스가 확대될 수 있음. 결국 오프라인 공공도서관이 이런 최적점에 가까웠던 것 같음

  • HN(해커뉴스)에서 이 이슈를 과소평가하는 것 같은데, 엄청 큰 변화임. 전체 웹의 20%가 Cloudflare에 있음. 이 기능이 모든 고객, 심지어 무료 블로그 운영자까지 제공된다면, 블로그 주인도 돈을 받을 수 있는 흥미로운 구조임

    • 현실적으로 블로그 운영자들이 받은 돈은 0.1센트의 소수점 아래 단위일 확률이 높고, Cloudflare가 수익 대부분을 가져갈 거라는 의심이 듦. 결국 이 시스템도 모두에게 적용되며, 신용카드 인증 없이 읽을 수 없는 “Cloudflare-Net” 같은 폐쇄 네트워크가 생길 수 있음. Akamai, AWS 등 경쟁 인프라로 시장이 쪼개질 수 있음. AI 모델에게는 크롤링 비용이 올라가고, 그 부담이 최종적으로 사용자(=우리 모두)에게 전가됨. 동시에 소규모 회사들은 새로운 것을 창출하기 더 힘들어짐. 정보의 AI 모델 평균 가용성도 떨어짐. 결국 이는 ‘순수하게 개방적이었던 웹’이 점점 결제 조건이나 기업 게이트키핑에 따라 원래의 개방성을 잃어가는, 네트 중립성(net neutrality) 논란과도 연결되는 문제임. 겉으로 들리는 것만큼 웹 전체에 좋은 소식이 아님

  • 머지 않아 브라우저 사용할 때마다 소액 결제를 하라는 구조로 바뀌고, 인터넷이 사라질까 걱정임

    • 이미 Cloudflare의 봇 탐지 때문에 한참을 소비함. 크롬+uBlock 조합을 쓰는데, 조만간 결제 하라는 화면도 볼 듯. CAPTCHA가 뜨면 그냥 사이트 안 쓰고 다른 데로 감

    • 사실 오히려 수십 개의 광고, 페이월에 시달리는 것보다는 나을 수도 있음

  • AI 크롤러를 장애인용 웹 네비게이션 보조도구로 쓰는 상황도 생각해야 함. UI 자동화 기능은 이미 각종 인증절차에서 걸림돌이 많음

    • 사이트 운영자가 이런 크롤러를 허용할 수 있음. 악의적인 참가자가 선의로 가장해 접근하는 문제는 기존에도 구글 웹 크롤러는 허용하고, Gemini 학습용은 차단하려는 경우처럼 이미 존재하므로, 이에 대한 기술적 해결책이 필요함

    • 개인 사용자가 크롤러를 이용해 웹을 ‘탐색’할 수 있다는 말이 정확히 뭘 의미하는지 잘 모르겠음. AI 브라우저는 곧장 크롤러가 아님. 크롤러는 전체 웹사이트를 대량 수집(수확)하는 도구임

    • 이미 ARIA라는 표준 접근성 기술이 있고, 주요 사이트는 이를 모두 반영하고 있음. 접근성 용도로 AI는 굳이 필요도 없어야 하고, 쓰여서도 안 됨

  • 예전에는 인터넷에 유용한 검색 제공하던 회사를 ‘좋은 회사’라고 생각했음. 그리고 지금은 Cloudflare가 DDoS 방어, CDN, AI로부터 보호 등 ‘좋은 일’을 한다고 보임. 하지만 이런 회사도 나중에 싫어하게 될 가능성이 있음

    • Cloudflare가 모두가 싫어하는 기업은 아니지만, 그 영향력이 커질수록 긴장감이 높아짐. Bluesky가 “the company is tomorrow's adversary(오늘의 파트너가 내일의 적)”라고 했는데, Cloudflare도 강력한 ‘적수’로 성장 중임

    • 내 주변 현실 친구들은 이미 Cloudflare를 싫어함

    • 인터넷에 ‘좋은 일을 한다’고 하지만, Cloudflare가 제공하는 인증·검증(Verification Friction) 때문에 나는 Stack Exchange 대신 LLM(대형 언어모델)을 더 자주 사용하게 됨

  • 전반적으로는 이 아이디어에 동의하지만, 대기업은 각종 데이터 우회 루트를 찾을 것이고(특히 Google은 검색엔진 명분으로 공짜 크롤링), 실제로 성공하면 그 비용이 최종 사용자인 우리에게 전가될 가능성이 높음

    • Google이 검색을 명분으로 무료로 데이터를 크롤링한다 해도, 2단계에서 Google이 페이지별 요금을 내도록 한다면 어떨까 생각함. 각 기사별로 크롤러가 접근할 수 없는 구간을 요금별로 따로 설정하여, 예를 들어 주요 뉴스는 비싼 요금을 요구하고, 일반 정보나 LLM 학습용, 내부 연구용 등 목적별 라이선스를 각각 가격에 명기할 수 있음. Cloudflare가 수백만 사이트의 중간 허브로서 역할을 하면 충분히 가능한 구조임

    • 더 많은 발행처(퍼블리셔)가 구글봇도 차단할 것임. 이유는 이미 Google이 AI 검색 답변 때문에 발행처 수익을 빼앗고 있기 때문임

답변달기