Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering

개요

LLM 기반 멀티 에이전트(LLM-MA) 시스템은 소프트웨어 엔지니어링 작업을 자동화하는 데 활용되지만, 운영 효율성과 리소스 소비 패턴은 명확히 이해되지 않아 비용 예측 및 최적화에 어려움이 있습니다.

주요 내용

• LLM-MA 시스템에서 토큰 소비 패턴을 분석하기 위해 ChatDev 프레임워크와 GPT-5 모델을 사용한 30개의 소프트웨어 개발 작업 실행 추적 데이터를 분석했습니다.
• 각 개발 단계를 Design, Coding, Code Completion, Code Review, Testing, Documentation으로 표준화하여 토큰 소비를 정량화하고 비교했습니다.
• 분석 결과, 반복적인 Code Review 단계에서 전체 토큰 소비의 평균 59.4%를 차지하여 가장 많은 토큰이 사용되었습니다.
• 또한, 입력 토큰이 전체 소비량의 평균 53.9%를 차지하며, 이는 에이전트 협업에서 잠재적인 비효율성을 시사합니다.
• 에이전트 기반 소프트웨어 엔지니어링의 주요 비용은 초기 코드 생성보다는 자동화된 코드 개선 및 검증 과정에 있음을 확인했습니다.

시사점

본 연구의 분석 방법론은 실무자가 LLM-MA 시스템의 비용을 예측하고 워크플로우를 최적화하는 데 도움을 줄 수 있으며, 향후 토큰 효율성이 높은 에이전트 협업 프로토콜 개발 연구를 촉진할 것입니다.