Serve Markdown to AI Agents with Accept Headers

개요

Accept 헤더의 text/markdown 값을 활용하여 AI 에이전트에게 마크다운 형태의 콘텐츠를 제공하는 방법론이 제시되었습니다. 이를 통해 AI는 불필요한 HTML, CSS, JavaScript를 제외하고 순수 텍스트 콘텐츠에 집중하여 토큰 효율성, 정보 검색 정확도, 응답 속도를 향상시킬 수 있습니다.

주요 내용

• AI 에이전트를 위한 마크다운 제공: 웹사이트는 이미 콘텐츠를 보유하고 있으며, Accept: text/markdown 헤더를 사용하여 AI 에이전트에게 마크다운 변형을 제공할 수 있습니다. AI 에이전트는 네비게이션, 스크립트, 레이아웃 마크업을 건너뛰고 콘텐츠를 직접 읽을 수 있습니다.
• 토큰 효율성 증대: 마크다운은 네비게이션, 스타일, 스크립트, 레이아웃 래퍼를 제거하여 바이트 수를 줄입니다. 이는 AI 에이전트가 불필요한 DOM 대신 실제 텍스트 콘텐츠에 더 많은 컨텍스트를 할당하도록 합니다.
• 검색 신호 대 잡음비 향상: 광고, 관련 콘텐츠, 모달 오버레이와 같은 요소가 RAG(Retrieval-Augmented Generation) 파이프라인이 임베딩해야 하는 텍스트를 방해하지 않아 검색 정확도를 높입니다.
• 응답 속도 개선: 가져오고 파싱해야 할 데이터 양이 줄어들고, 모델이 생각하기 전에 컨텍스트 창에 채워 넣을 내용이 적어 첫 토큰 응답 속도가 빨라집니다.
• 콘텐츠 협상 구현: Accept: text/markdown 헤더를 설정하고, Vary: Accept 헤더를 반환하여 다양한 Accept 헤더 값에 대한 콘텐츠 제공을 명시해야 합니다. 지원되지 않는 타입에는 406(Not Acceptable) 상태 코드로 응답하고, q-value(quality value)를 존중합니다.
• 다양한 기술 스택 지원: Nginx, Caddy, WordPress, Cloudflare Workers, Next.js, Astro, Express 등 다양한 웹 서버 및 프레임워크에서의 구현 가이드와 복사-붙여넣기 가능한 설정을 제공합니다.
• AI 에이전트 지원 매트릭스: 어떤 AI 에이전트가 URL에 접근할 때 Accept: text/markdown 헤더를 보내는지에 대한 지원 매트릭스를 제공합니다.

시사점

AI 에이전트가 웹 콘텐츠를 소비하는 방식에 최적화를 제공함으로써, 개발자는 AI 에이전트의 효율성과 응답성을 극대화할 수 있으며, 이는 향후 AI 기반 검색 및 정보 접근 방식의 중요한 발전 방향을 제시합니다.