- Cloudflare는 웹사이트 소유자가 AI 모델 제공자에게 사이트 콘텐츠 스크래핑 접근을 판매할 수 있는 마켓플레이스를 내년에 출시할 계획을 발표함
- 이 마켓플레이스는 Cloudflare CEO Matthew Prince의 더 큰 계획의 마지막 단계로, 퍼블리셔들이 AI 봇이 웹사이트를 스크래핑하는 방법과 시기를 더 잘 통제할 수 있도록 함
- 그 첫 단계로 Cloudflare는 무료 observability 도구인 AI Audit을 출시함
- 웹사이트 소유자는 AI 모델이 사이트를 얼마나 자주 스크래핑하는지에 대한 분석을 볼 수 있는 대시보드를 제공받음
- AI Audit을 통해 웹사이트 소유자는 AI 봇을 차단하거나 특정 웹 스크래퍼를 허용할 수 있음
- AI Audit 데모는 웹사이트 소유자가 각 스크래퍼가 어디서 오는지 확인할 수 있게 하며, OpenAI, Meta, Amazon 등의 AI 모델 제공자가 사이트를 얼마나 자주 방문하는지 볼 수 있는 선택적 창을 제공함
- AI 산업의 문제 해결
- AI 모델 제공자들이 수천 개의 작은 웹사이트를 스크래핑하여 LLM을 구동하는 정보로 사용함
- 대부분의 웹사이트는 아무런 보상을 받지 못하고, 이는 많은 웹사이트의 비즈니스 모델을 깨뜨릴 수 있음
- Cloudflare는 웹사이트 소유자가 AI 봇을 차단할 수 있는 버튼을 출시함
- 고객 요구 사항 반영
- Cloudflare의 고객들은 어떤 AI 모델이 사이트에 접근할 수 있는지 선택할 수 있는 도구를 요구함
- Cloudflare의 새로운 도구는 일부 AI 크롤러를 차단하면서 다른 크롤러는 허용할 수 있게 함
- 마켓플레이스의 목표
- Cloudflare의 마켓플레이스는 작은 퍼블리셔들이 AI 모델 제공자와 거래를 할 수 있게 함
- 웹사이트가 스크래핑 요금을 설정하거나 AI 연구소에 크레딧을 요청할 수 있음
- AI 생태계에 미치는 영향
- 현재 일부 AI 회사들이 콘텐츠에 대해 아무런 비용을 지불하지 않는 상황은 지속 가능하지 않음
- Cloudflare의 CEO는 이 마켓플레이스가 AI 생태계에 궁극적으로 좋을 것이라고 생각함
GN⁺의 정리
- Cloudflare는 웹사이트 소유자가 AI 모델 제공자에게 사이트 콘텐츠 스크래핑 접근을 판매할 수 있는 마켓플레이스를 출시할 계획을 발표함
- AI Audit 도구를 통해 웹사이트 소유자는 AI 모델이 사이트를 얼마나 자주 스크래핑하는지 분석할 수 있음
- 이 마켓플레이스는 작은 퍼블리셔들이 AI 모델 제공자와 거래를 할 수 있게 하여, 콘텐츠에 대한 보상을 받을 수 있도록 함
- 이는 AI 생태계의 지속 가능성을 높이는 데 기여할 수 있음