Are the costs of AI agents also rising exponentially? (2025)

개요

AI 에이전트의 성능 향상 추세가 비용 증가와 함께 지수적으로 심화되면서, 시간당 비용 측면에서 인간과의 경쟁력이 약화될 수 있다는 분석이 제시됩니다.

주요 내용

* AI 시스템 규모 및 사용량의 기하급수적 증가: 지난 7년간 AI 모델의 파라미터 수는 4,000배, 각 작업에서 실행되는 횟수(생성된 토큰 수)는 10만 배 증가했습니다.
* 비용 증가와 성능 향상의 관계: AI 연구의 발전은 효율성을 높였지만, 최고 성능 달성을 위한 비용 또한 지수적으로 증가할 가능성이 높습니다.
* 시간당 비용의 중요성: AI 에이전트가 인간과 유사하거나 더 나은 성능을 보이더라도, 해당 작업을 수행하는 데 드는 시간당 비용이 인간보다 높다면 경제성이 떨어질 수 있습니다.
* METR 데이터 기반 분석: METR(Metrizable Engineering Task Representation)의 벤치마크 데이터를 활용하여 모델별 성능 대비 비용을 분석한 결과, AI 에이전트의 '스위트 스팟(sweet spot)'에서의 시간당 비용은 모델에 따라 40달러에서 40센트까지 다양하게 나타났습니다.
* 스위트 스팟과 포화점: 각 모델은 특정 비용 수준에서 최적의 시간당 비용 효율성을 보이는 '스위트 스팟'을 가지며, 그 이상 비용을 투입해도 성능 향상이 미미해지는 '포화점'이 존재합니다.
* 시간당 비용 증가 추세: 분석 결과, 시간당 비용 또한 작업 시간(시간 지평)과 함께 증가하는 경향을 보이며, 이는 최고 성능을 달성하기 위한 비용이 비현실적으로 높아질 수 있음을 시사합니다.
* 인간과의 비용 비교: 일부 AI 에이전트의 최고 성능 달성을 위한 시간당 비용은 인간의 시간당 비용과 비슷하거나 더 높아지고 있습니다.
* 분석의 한계점: OpenAI 모델의 높은 비용 추정치, 일부 모델의 성능 곡선에서의 '업틱(uptick)' 현상, 분석 대상 모델의 다양성 부족 등이 추가적인 분석이 필요한 부분입니다.

시사점

AI 에이전트의 성능 향상 추세가 지속 가능하지 않은 컴퓨팅 비용 증가에 부분적으로 의존하고 있으며, 이론적으로 가능한 성능과 경제적으로 실현 가능한 성능 간의 괴리가 발생할 수 있으므로, 실제 AI 에이전트의 상용화는 METR 시간 지평 추세를 예상하는 것보다 더 지연될 수 있습니다.