Stop Feeding Agents Raw Data

개요

Vajra는 에이전트가 원시 데이터를 직접 처리하는 대신, 데이터를 안정적으로 측정하고 요약하여 에이전트의 추론 능력을 향상시키는 Rust CLI 및 라이브러리입니다.

주요 내용

* 에이전트 컨텍스트 문제: 에이전트에게 대규모 JSON, API 응답, 소스 코드 등 구조화된 원시 데이터를 직접 제공하면, 에이전트는 데이터 측정과 추론이라는 두 가지 작업을 동시에 수행해야 하여 비효율적이며 부정확한 결과를 초래할 수 있습니다.
* Vajra의 역할: Vajra는 이러한 문제를 해결하기 위해 원시 데이터에서 안정적인 측정값, 지문, 엔트로피, 카디널리티, 이상치, 희소성, 스키마 드리프트, 소스 코드 구조, 기여자 집중도 등을 추출하는 "신호 계층" 역할을 합니다.
* 안정적인 측정의 중요성: Vajra는 동일한 입력, 설정, 버전에서 항상 동일한 결과를 보장하는 결정론적인 분석을 수행합니다. 이는 에이전트가 도구를 호출하고 계획을 업데이트할 때 일관된 판단을 내릴 수 있도록 합니다.
* 원시 데이터 vs. 측정된 주장: Vajra는 방대한 원시 데이터를 에이전트가 이해하기 쉬운 측정된 주장(예: 특정 경로의 상태, 유형, 엔트로피, 희소한 값)이나 드리프트 보고서, 프로젝트 건강 신호 등으로 압축하여 제공합니다.
* 측정 후 추론 워크플로우: 이상적인 에이전트 워크플로우는 원시 데이터 -> 결정론적 분석 (Vajra) -> 압축된 증거 번들 -> 에이전트 추론 -> 실행 계획 -> 재분석 -> 검증의 순환 구조를 가집니다.
* 구체적인 에이전트 워크플로우 예시: GitHub 프로젝트 릴리스 검토 시, Vajra는 커밋, 이슈, 풀 리퀘스트 등을 측정하여 기여자 집중도, 이상한 이슈 클러스터, 반복적인 레이블 등을 에이전트에게 제공함으로써, 에이전트가 더 정확하고 증거 기반의 위험 평가를 수행하도록 돕습니다.
* 결정론의 중요성: 에이전트 시스템 자체에 확률적 요소가 내재되어 있으므로, 도구들이 추가적인 무작위성을 야기하지 않도록 결정론적인 작동이 중요합니다. 이는 디버깅, 설명 가능성, CI/CD 파이프라인의 신뢰성을 높입니다.
* Vajra의 한계: Vajra는 데이터의 구조와 분포를 측정하지만, 이상치가 비즈니스적으로 중요한지 여부를 결정하거나 민감한 데이터의 관리 정책을 수립하지는 않습니다. 또한, 감사, 법적 검토, 사고 대응 시에는 원본 기록이 여전히 필요할 수 있습니다.

시사점

Vajra와 같은 도구 체인은 에이전트 시스템 구축에 있어 재현 가능한 중간 아티팩트를 생성하고, 컨텍스트를 효율적으로 축소하며, 추론 전에 안정적인 측정을 제공함으로써 에이전트가 원시 데이터에 대한 낭비적인 판단 대신 증거 기반의 추론에 집중할 수 있게 합니다.