Cloudflare’s new policy pushes AI companies to pay for publishers’ content

개요

Cloudflare는 2026년 9월 15일부터 AI 기업이 학습 및 에이전트용 웹 크롤러를 검색용 크롤러와 분리하도록 요구하는 정책을 발표했으며, 이를 준수하지 않을 경우 광고가 포함된 페이지에 대한 크롤링을 기본 차단한다.

주요 내용

* AI 크롤러 분리 의무화: Cloudflare는 2026년 9월 15일부터 AI 모델 학습 및 AI 에이전트 사용에 사용되는 웹 크롤러와 Google 검색과 같은 전통적인 검색 목적의 크롤러를 분리하도록 AI 업계에 요구한다.
* "혼합 사용" 크롤러 기본 차단: 위 날짜부터 광고를 포함하는 페이지에 대해 "혼합 사용"(검색, 에이전트 사용, 학습이 혼합된) 크롤러는 기본적으로 차단된다. 이는 사이트 소유자가 설정을 직접 변경하지 않는 한 적용된다.
* 정책 적용 대상: 이 기본 설정 변경은 신규 Cloudflare 고객, 기존 고객이 설정하는 신규 사이트, 그리고 모든 기존 무료 고객에게 적용된다.
* AI 기업 및 퍼블리셔에 미치는 영향: 이 정책은 AI 모델 제공업체가 학습 목적 및 에이전트 서비스 강화를 위해 웹 콘텐츠에 접근하는 방식에 영향을 미칠 수 있다. 많은 웹사이트 소유자는 자신의 콘텐츠가 검색 및 AI 서비스를 통해 발견되기를 바라지만, 지적 재산이 무료로 제공되는 것에 대한 보호를 원한다.
* Google과의 차이점: Cloudflare는 Google이 "2배 더 많은 정보"에 접근할 수 있다고 지적하며, 이는 Google이 검색을 통해 AI 기능(AI Overviews, AI Mode)에 대한 접근을 제공하면서도 AI 학습 사용을 제한하기 어렵게 만들기 때문이라고 설명한다. Google은 훈련 및 AI 제품 사용을 거부할 수 있는 Google Extended 봇을 제공하지만, Googlebot은 검색 및 AI 기능을 위해 크롤링한다.
* 봇 트래픽 증가: 인터넷 트래픽의 대다수가 비인간(봇) 트래픽으로 전환됨에 따라, 지속 가능한 생태계 조성을 위해 더 빠르고 진보된 조치가 필요하다고 Cloudflare CEO는 언급했다.
* Cloudflare의 새로운 도구 및 파트너십: Cloudflare는 웹사이트 소유자에게 더 많은 통제권을 제공하고 AI 기업에게는 투명한 의도를 가진 봇에 대한 이점을 제공하는 새로운 도구와 파트너십을 출시했다. AI 봇에 대한 결제 모델인 "Pay Per Crawl"은 "Pay Per Use"로 발전하여, 콘텐츠가 가치를 창출할 때 AI 기업이 지불하도록 할 예정이다.
* 콘텐츠 재사용 감소 및 파트너: Cloudflare 데이터에 따르면 AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용되므로, 이 정책은 대역폭과 컴퓨팅 리소스를 절약하는 데 도움이 될 수 있다. Cloudflare는 Ceramic.ai 및 You.com과 협력하여 퍼블리셔가 AI 검색 결과에 콘텐츠가 표시되거나 프리미엄 콘텐츠에 접근될 때 보상을 받도록 한다.

시사점

Cloudflare의 새로운 정책은 AI 기업의 웹 콘텐츠 접근 방식에 상당한 변화를 가져올 것이며, 퍼블리셔가 자신의 콘텐츠에 대한 통제권과 잠재적 수익 창출 기회를 확대하는 동시에 AI 산업의 투명성과 지속 가능성을 증진할 것으로 예상된다.