TIME Is Serving AI Bots a Different Website, with Ads Built In

개요

TIME 웹사이트는 인간 독자와 AI 크롤러에게 서로 다른 두 가지 버전의 콘텐츠를 제공하며, AI 크롤러에게는 광고가 포함된 단순화된 마크다운 버전을 제공한다.

주요 내용

* TIME은 사용자의 User-Agent 헤더를 감지하여 웹사이트 버전을 달리 제공한다.
* 인간 사용자가 접근 시에는 일반적인 HTML, 이미지, 스크립트를 포함한 완전한 웹페이지를 제공한다.
* ClaudeBot, PerplexityBot, OpenAI의 OAI-SearchBot과 같은 AI 크롤러에게는 텍스트/마크다운 형식의 콘텐츠를 제공하며, 이는 일반 HTML 버전의 1/23 크기이다.
* GPTBot, ChatGPT-User 등 일부 AI 봇은 406 오류로 차단된다.
* AI 크롤러에게 제공되는 마크다운 버전에는 Mobian이라는 애드테크 벤더의 광고(Sponsored content)가 포함되어 있으며, 각 요청마다 고유한 UUID와 토큰 카운트가 기록된다.
* AI 전용 페이지에는 Ally Bank 및 Project Management Institute와 관련된 FAQ 및 홍보성 정보가 포함되어 있으나, 인간 독자가 보는 웹페이지에는 이러한 내용이 나타나지 않는다.
* TIME은 이미 봇 트래픽이 인간 트래픽을 초과하는 경우가 많으며, 이는 웹이 AI 모델을 주된 대상으로 삼기 시작하는 변화의 초기 징후일 수 있다.

시사점

이러한 콘텐츠 제공 방식의 변화는 웹의 미래가 AI 모델을 위한 맞춤형 콘텐츠 생성 및 광고 수익화 모델로 진화할 가능성을 시사하며, 출판사들의 새로운 비즈니스 전략의 시작을 보여준다.