Our AI coding bill quietly tripled. Here's what we learned fixing it.

개요

AI 코딩 도구 사용으로 인한 비용이 예기치 않게 급증한 경험을 바탕으로, 투명성 부족, 통제 부재, 모델 거버넌스 미흡이라는 세 가지 주요 문제점을 파악하고 이를 해결하기 위한 구체적인 방안들을 제시합니다.

주요 내용

* 비용 급증의 원인: AI 코딩 도구(Claude Code, Codex 등)의 생산성 향상이 실제 사용 증가로 이어졌으나, 비용 추적이 불가하여 청구서를 받기 전까지는 문제를 인지하기 어려웠습니다.
* 주요 문제점:
* 사용량 가시성 부족: 비용을 개인, 프로젝트, 작업별로 세분화하여 파악할 수 없어 합리적인 추론이 불가능했습니다.
* 통제 부재: 과도한 프로세스나 잘못된 기본 설정이 중단되지 않아 비용이 발생한 후에야 알게 되었습니다.
* 모델 거버넌스 미흡: 도구가 자체적으로 모델을 선택하게 되어 비용 발생에 대한 통제권이 없었습니다.
* 비용 절감 방안:
* 프롬프트 캐싱(Prompt caching): 반복되는 컨텍스트(시스템 프롬프트, 도구 정의, 파일 등)를 캐싱하여 입력 비용을 크게 절감합니다. 캐싱 설정 오류 시 비용이 다시 증가할 수 있으므로 주의가 필요합니다.
* 작업별 모델 크기 조절: 문서 생성, 요약, 단순 리팩토링 등에는 저렴한 모델을 사용하고, 핵심 작업에만 고성능 모델을 활용하여 비용 효율성을 높입니다.
* 루프(Loop) 제한 설정: 에이전트 실행, 테스트-수정 반복 등 자동화된 루프에 대해 소비 금액 또는 토큰 수를 제한하여 무제한 실행을 방지합니다.
* 전송 데이터 압축: 오래된 컨텍스트를 압축하여 모델에 전송되는 토큰 양을 줄입니다. 단, 활성 컨텍스트를 유지하며 오래된 정보만 압축해야 합니다.
* 비용 가시성 확보: 개발자가 자신의 프로젝트별 사용량을 직접 확인할 수 있도록 하여 스스로 비용 절감 행동을 유도합니다.
* 실질적인 해결책: 내부 게이트웨이를 구축하여 모든 요청을 개인 및 프로젝트별로 추적하고, 예산을 확인하며, 적절한 모델로 라우팅하고, 캐싱 및 하드 캡을 적용합니다. LiteLLM과 같은 오픈소스 프록시를 활용하여 자체적으로 구현할 수도 있습니다.

시사점

AI 코딩의 생산성 이점은 분명하지만, 비용 관리는 현재 엔지니어링 예산에서 가장 덜 통제되는 항목 중 하나로 빠르게 성장하고 있습니다. 생산성 저하 없이 비용을 제어하기 위해서는 사용량 가시성 확보, 개별 추적, 공격적인 캐싱, 모델 크기 적절화, 루프 제한 설정이 필수적입니다.