The $47,000 Agent Loop: Why Token Budget Alerts Aren't Budget Enforcement

개요

2025년 11월, 4개의 LangChain 에이전트가 A2A 프로토콜을 통해 시장 조사 파이프라인을 실행하던 중 무한 루프에 빠져 11일간 47,000달러의 비용이 발생했으며, 이 사고는 에이전트별 예산 상한선 부재와 세션 종료 메커니즘 미비가 주요 원인이었음을 시사합니다.

주요 내용

* 47,000달러 에이전트 루프 사고: 시장 조사 파이프라인을 실행하던 4개의 LangChain 에이전트가 Analyzer와 Verifier 에이전트 간의 요청 주고받기로 인해 무한 루프에 빠져 11일간 47,000달러의 비용을 발생시켰으며, 이 사실은 운영 중단 후에야 인지되었습니다.
* 사고의 근본 원인: 사고의 주된 원인은 각 에이전트에 대한 예산 상한선이 없었고, API 호출이 완료되기 전에 세션을 종료할 수 있는 메커니즘이 부재했다는 점입니다.
* AI 지출 급증과 FinOps의 중요성: FinOps Foundation의 2026년 조사에 따르면, AI 지출을 관리하는 FinOps 프랙티스는 2년 전 31%에서 98%로 급증했으며, 이는 지출 추적이 아닌 통제가 필요함을 시사합니다.
* 토큰 예산과 비용 관리의 차이: AI 에이전트 토큰 예산은 실행 중단 전에 API 호출을 제한하는 사전 예방적 비용 통제 장치인 반면, 비용 알림은 지출 발생 후 통지하는 사후 대응 방식입니다.
* 에이전트 시스템의 예측 불가능한 비용: 에이전트의 반복적이고 검증적인 특성은 유용하지만, 종료 조건이 없으면 비용이 기하급수적으로 증가할 수 있으며, 개별 API 호출 비용이 저렴해 보이더라도 빈번한 호출로 인해 전체 비용이 막대해질 수 있습니다.
* 가시성(Observability)과 강제성(Enforcement)의 차이: 기존 가시성 도구는 지출 발생 후 기록하고 알림을 보내지만, 실제 비용 강제성은 API 호출 전에 정책을 검토하고 세션을 종료하는 방식으로, 에이전트 시스템의 반복적인 특성상 필수적입니다.
* 컨텍스트 창 축적으로 인한 비용 예측의 어려움: 에이전트는 각 요청에 전체 대화 기록을 포함하여, 초기 짧은 프롬프트가 시간이 지남에 따라 수십 배의 토큰으로 증가하며 비용을 비선형적으로 상승시킵니다.
* 인프라 계층 예산 강제 메커니즘: 세션당 토큰 예산, 에이전트 플릿별 상한선, 실시간 비용 원격 측정과 강제 트리거와 같은 인프라 계층에서의 예산 강제는 에이전트의 실행 외부에서 작동하여 예기치 않은 비용 폭증을 효과적으로 방지합니다.
* Waxell SDK의 역할: Waxell SDK는 에이전트의 LLM 요청 및 도구 호출을 래핑하여 구성된 예산 상한선에 따라 세션을 종료하며, 이는 에이전트 코드 자체의 지시보다 더 신뢰할 수 있는 제어 메커니즘을 제공합니다.

시사점

AI 에이전트 시스템의 예측 불가능하고 기하급수적인 비용 증가를 효과적으로 관리하기 위해서는 사후 알림에 의존하는 가시성 도구에서 벗어나, 인프라 계층에서 예산을 사전적으로 강제하는 메커니즘을 도입하는 것이 필수적입니다.