Launch HN: Voker (YC S24) – Analytics for AI Agents

개요

Voker는 AI 에이전트의 성능을 추적하고 분석하여 사용자가 더 나은 에이전트를 구축하도록 돕는 분석 플랫폼입니다.

주요 내용

* AI 에이전트 행동의 투명성 부족 문제 해결: 기존 방식으로는 AI 에이전트가 사용자에게 도움이 되는지, 정확한지, 혹은 오류가 있는지 파악하기 어렵고, 고객 불만이 발생하거나 이탈률이 증가할 때까지 알기 어렵습니다.
* 데이터 확보의 어려움: 유용한 사용량 데이터를 얻는 것은 리소스 집약적이며, 각 이해관계자가 필요로 하는 데이터를 제공하기 위해 엔지니어들이 개발에서 벗어나야 하는 상황이 발생합니다.
* 에이전트 ROI 증명의 어려움: 제품 및 비즈니스 팀은 AI 투자를 정량화해야 하지만, 에이전트 성능을 전환율, 유지율 또는 수익과 연결하는 데 어려움을 겪습니다.
* Voker의 기능:
* 셀프 서비스 분석: PM, 분석가, 비즈니스 팀이 티켓, 병목 현상 또는 지연 없이 필요한 통찰력을 얻을 수 있습니다.
* 성능 인텔리전스: AI 에이전트의 발언을 추적하고, 지식 격차를 식별하며, 이상 징후를 감지하고, 시간 경과에 따른 개선 사항을 측정합니다.
* 비즈니스 영향: 대화 데이터를 수집 중인 사용자 데이터와 상관시켜 에이전트 지표를 중요한 결과에 연결합니다.
* 의도(Intents) 식별: 사용자의 목표를 자동으로 분류합니다.
* 수정(Corrections) 감지: 사용자가 원하는 것을 얻지 못할 때 마찰을 감지합니다.
* 해결(Resolutions) 인식: 에이전트가 사용자의 의도를 해결했는지 확인합니다.
* 적합한 대상: 높은 상호 작용량(월 1,000회 이상의 채팅 세션), 복잡한 다중 턴 대화(도구, RAG, MCP)를 처리하고 에이전트 통찰력이 필요한 여러 기능 팀을 보유한 경우에 적합합니다.
* 기술적 통합: OpenAI, Anthropic, Gemini 등 어떤 LLM 프레임워크나 모델과도 호환되며, Langchain, CrewAI, Vercel AI SDK 등과 통합됩니다. Python & Typescript용 경량 SDK를 제공합니다.
* 데이터 소유권 및 자체 호스팅: 사용자는 자신의 데이터를 완전히 소유할 수 있으며, 엔터프라이즈 요구 사항을 위해 자체 호스팅 옵션도 제공합니다.
* 구현 용이성: 몇 줄의 코드로 통합할 수 있으며, 인프라 변경이 필요하지 않습니다.
* 가격 정책: 무료 플랜부터 시작하여 에이전트 사용량에 따라 확장되는 다양한 유료 플랜을 제공합니다.

시사점

Voker는 AI 에이전트 구축 팀이 직면한 데이터 분석 및 ROI 측정의 어려움을 해결하여, 에이전트의 성능을 객관적으로 평가하고 지속적으로 개선할 수 있는 환경을 제공합니다.