llms.txt: The File That Decides Whether AI Can Find Your Site

개요

llms.txt는 AI 크롤러가 웹사이트의 핵심 콘텐츠를 이해하고 색인화할 수 있도록 돕는 Markdown 형식의 파일로, AI 검색 시대에 웹사이트 가시성을 확보하는 중요한 방법론을 제시합니다.

주요 내용

* AI 크롤러의 한계: 기존 Googlebot과 달리 AI 크롤러는 LLM의 컨텍스트 창 제약으로 인해 전체 웹사이트를 효과적으로 탐색하고 이해하는 데 어려움을 겪습니다.
* llms.txt의 등장: Jeremy Howard가 제안한 llms.txt는 웹사이트의 루트 디렉토리에 위치하며, 웹사이트의 핵심 내용, 중요 페이지, 그리고 각 페이지에 대한 간결한 설명을 제공하여 AI 크롤러에게 "치트 시트" 역할을 합니다.
* llms.txt의 형식: 간단한 Markdown 파일로, 최상단에 웹사이트 이름과 간략한 설명을 포함하고, "Docs" 섹션에서 중요 페이지의 제목과 URL, 그리고 간략한 설명을 제공합니다. 필요에 따라 "Optional" 섹션을 통해 덜 중요한 페이지를 추가할 수 있습니다.
* 주요 채택 기업: Stripe, Cloudflare, Vercel, Anthropic, Cursor, Mintlify 등 다수의 선도적인 기술 기업들이 llms.txt를 도입하여 AI 검색 엔진과의 상호작용을 최적화하고 있습니다.
* 직접적인 트래픽 영향의 불확실성: llms.txt 도입이 직접적인 트래픽 변화로 이어진다는 명확한 증거는 아직 부족하지만, 구현 비용이 거의 없고 잠재적인 이점이 크기 때문에 적극적인 도입을 권장합니다.
* llms.txt 구축 가이드: 10KB 이하로 유지하고, 설명적인 링크 텍스트를 사용하며, 가능하다면 .html.md 확장자를 사용하여 Markdown 버전의 페이지를 제공하고, 내용을 공격적으로 큐레이션하는 것이 중요합니다.
* 다층적 접근 전략: llms.txt는 robots.txt (접근 제어) 및 JSON-LD (의미론)와 함께 AI와의 커뮤니케이션을 위한 세 가지 레이어로 작동하며, 특히 llms.txt는 AI에게 "무엇에 주의를 기울여야 하는지"를 명확히 전달하는 역할을 합니다.
* robots.txt의 올바른 활용: AI 크롤러(GPTBot, ClaudeBot 등)를 robots.txt에서 차단하는 것은 AI 검색 엔진에서 사이트가 누락되는 주요 원인이며, AI 크롤러에게도 필요한 페이지에 대한 접근을 허용하는 것이 중요합니다.
* 미래 전망: llms.txt는 AI 검색 엔진과의 표준 소통 방식으로 자리 잡거나, 그 원리가 다른 프로토콜에 통합될 가능성이 있으며, 어떤 경우든 현재의 기술을 습득하는 것이 미래에 유리할 것입니다.

시사점

llms.txt는 AI 검색 엔진의 등장으로 인해 웹사이트의 가시성을 확보하고 AI와의 효과적인 상호작용을 촉진하기 위한 실용적인 솔루션으로, 웹사이트 소유자들이 AI 시대에 맞춰 콘텐츠 전략을 재고하고 구현해야 할 필요성을 강조합니다.