We decreased our LLM costs with Opus

개요

Vercel은 Opus 모델과 Haiku 모델을 활용하여 CI 로그 분석 비용을 절감하는 아키텍처를 구현했으며, 이를 통해 이전 Sonnet 모델 사용 시보다 비용을 절감했습니다.

주요 내용

* 계층형 에이전트 아키텍처: 저비용 에이전트(Haiku)가 대부분의 작업을 처리하고, 80%의 중복되거나 단순한 문제를 1차적으로 필터링합니다. 중복되지 않는 문제나 복잡한 분석이 필요한 경우에만 고비용 에이전트(Opus)가 개입합니다.
* Opus의 역할: Opus는 실패한 CI 작업의 로그를 분석하고 가설을 세운 후, Haiku 서브 에이전트를 생성하여 구체적인 작업을 지시합니다.
* Haiku의 역할: Haiku는 특정하고 좁은 범위의 작업을 수행합니다. CI 로그를 읽고, 알려진 오류 메시지와 의미론적 유사성을 검색하여 문제의 중복성을 판단합니다.
* 컨텍스트 관리: 에이전트에게 방대한 로그 데이터를 직접 전달하는 대신, ClickHouse의 SQL 인터페이스를 제공하여 필요한 컨텍스트만pull하도록 합니다. 이를 통해 에이전트가 특정 정보에 편향되는 것을 방지합니다.
* 비용 절감 요인: 80%의 실패가 Opus까지 도달하지 않도록 설계되었으며, Haiku가 입력 토큰의 상당 부분을 처리하지만 전체 LLM 비용의 일부만 차지합니다. Opus는 계획 수립 및 의사결정에 집중합니다.
* 기술 발전: 6개월 전 Sonnet 4.0으로 ClickHouse 쿼리 생성에 어려움을 겪었던 것에 비해, Opus 4.6은 복잡한 분석 계획 수립 및 정확한 서브 에이전트 프롬프트 생성이 가능해졌습니다. Haiku 4.5는 잘 정의된 작업에 대해 효율적으로 수행할 수 있습니다.
* 패턴의 일반화: 이 계층형 에이전트 아키텍처는 CI 로그 분석뿐만 아니라 보안 로그, IoT 텔레메트리, 금융 데이터 등 고밀도 이벤트 데이터 분석에도 적용 가능합니다.

시사점

본 아키텍처는 고비용 LLM의 효율성을 극대화하고 운영 비용을 절감하는 실용적인 방법을 제시하며, 이벤트 볼륨이 높은 다양한 데이터 분석 문제에 적용될 수 있는 확장성을 보여줍니다.