How to make your AI Agent 111x cheaper and 2.5x faster at data aggregation

개요

Gemini 3.5 Flash 모델의 데이터 집계 성능을 평가한 결과, Neonia MCP 아키텍처를 활용하면 원시 LLM 접근 방식에 비해 AI 에이전트의 비용을 111배 절감하고 속도를 2.5배 향상시킬 수 있습니다.

주요 내용

* 테스트 목표: Gemini 3.5 Flash 모델에 208명의 사용자 정보가 담긴 대규모 JSON 데이터를 입력하여, 30세 이상이고 녹색 눈을 가진 사용자의 몸무게 평균을 계산하도록 하는 데이터 집계 작업 수행.
* 바닐라 LLM 접근 방식 (Test 1):
* Gemini 3.5 Flash 모델이 72,286 토큰에 달하는 전체 JSON 데이터를 직접 파싱하고 내부적으로 연산을 수행.
* 결과: 38.89초 소요, 총 72,361 토큰 사용, 수학적으로 정확한 결과 도출 (78.44684210526316).
* 장점: 환각(hallucination) 없이 정확한 결과 제공.
* 단점: 막대한 실행 시간 및 토큰 사용량으로 인한 높은 비용.
* Neonia MCP 아키텍처 접근 방식 (Test 2):
* Neonia MCP 플랫폼은 LLM의 컨텍스트 창에 원시 데이터를 직접 주입하는 대신, Wasm 기반 JQ 필터 도구에 데이터 처리 작업을 위임.
* 모델은 데이터를 직접 읽는 대신 쿼리를 조율하는 역할만 수행.
* 결과: 15.54초 소요 (2.5배 빠름), 총 650 토큰 사용 (111배 저렴).
* Neonia MCP 서버 사용 코드 (Rust): neonia_web_json_fetch 및 neonia_data_jq_filter 도구를 활용하여 URL에서 JSON을 가져오고, JQ 쿼리로 필요한 데이터를 추출하며, Gemini 3.5 Flash 모델에 이러한 도구 사용을 지시하는 프리앰블(preamble) 설정.
* 핵심 고찰: LLM의 컨텍스트 창을 무작정 확장하는 것이 아니라, 전문화된 백엔드 플랫폼을 활용하여 데이터 처리 작업을 스마트하게 위임하는 것이 AI 에이전트의 확장성과 효율성 향상에 중요함.

시사점

AI 에이전트 개발에서 LLM의 네이티브 컨텍스트 창에만 의존하는 대신, Neonia MCP와 같은 전문화된 백엔드 플랫폼을 통해 데이터를 효율적으로 처리하는 위임 전략은 비용 효율성과 성능 향상을 위한 필수적인 접근 방식이 될 수 있습니다.