Context Compaction Visualizer: See Exactly What Your AI Agent Forgot Before It Costs You

개요

Context Compaction Visualizer는 장기 실행 AI 에이전트가 시간이 지남에 따라 컨텍스트를 관리하고 압축하는 방식을 시각화하여, 에이전트가 잊어버린 내용을 명확하게 파악하고 잠재적인 비용을 방지하도록 돕는 플랫폼입니다.

주요 내용

* 핵심 문제: AI 에이전트가 컨텍스트 한계에 도달하면 내부적으로 메시지를 압축하거나 폐기하는데, 이 과정은 일반적으로 보이지 않으며 중요한 정보(제약 조건, 사용자 선호도, 이전 결정 등)가 손실될 수 있습니다.
* 플랫폼 기능: LangSmith, OpenTelemetry, AgentOps 또는 사용자 지정 형식의 실행 트레이스를 업로드하여 어떤 컨텍스트가 유지, 압축 또는 폐기되었는지, 그리고 그 비용이 얼마인지 상세하게 탐색할 수 있습니다.
* 시각화 도구: D3.js 기반의 스택 바 타임라인은 토큰 소비량을 시각화하고, 세션 리플레이는 컨텍스트 압축 이벤트 발생 시점을 정확히 표시하며, 토큰 분석은 세션의 총 비용과 압축 효율성을 계산합니다.
* 정보 손실 감지: Claude 기반의 정보 손실 감지 기능은 각 압축 이벤트의 위험 점수를 매기고 무엇이 손실되었는지 구체적으로 명시합니다.
* 다양한 입력 형식 지원: LangSmith, OpenTelemetry, AgentOps 및 사용자 지정 JSON 형식을 포함한 네 가지 입력 형식을 지원하며, 각 형식에 맞는 파서가 데이터를 정규화된 구조로 변환합니다.
* 개발 및 구조: FastAPI 백엔드와 React/TypeScript 프론트엔드로 구성되어 있으며, 파서 정규화, Graceful Claude 폴백, D3.js 통합, 중앙 집중식 비용 추정 등 주요 설계 결정이 적용되었습니다.
* NEO를 이용한 개발: 이 프로젝트는 AI 엔지니어링 에이전트인 NEO를 사용하여 코드를 작성하고 솔루션을 구축했습니다.

시사점

Context Compaction Visualizer는 AI 에이전트의 컨텍스트 관리 투명성을 높여, 개발팀이 잠재적인 정보 손실을 사전에 감지하고, 압축 전략을 최적화하며, 보안 및 규정 준수에 민감한 에이전트의 신뢰성을 확보하는 데 크게 기여할 수 있습니다.