‘Pretty Crazy’ Token Usage Is Testing Bosses’ Bet on AI

개요

기업들이 생성형 AI 도구 사용 비용 증가에 대한 우려를 표명하고 사용량 제한을 도입하는 가운데, 일부 기업들은 AI 도입으로 인한 비용 절감 효과를 보고 있다.

주요 내용

* 비용 절감 사례: 8x8은 Claude와 같은 AI 챗봇을 도입하여 불필요한 소프트웨어 및 교육 도구 구독을 취소함으로써 연간 약 500만 달러의 비용을 절감했다고 추정한다.
* 토큰 사용량 급증: Royal Bank of Canada의 CEO는 지난 6개월간 토큰 사용량이 500% 급증했다고 밝혔으며, Cisco 역시 직원 3분의 1이 내부 AI 챗봇을 매일 사용하며 토큰 사용량이 "매우, 매우 미쳐가고 있다"고 전했다.
* 토큰 사용량 관리의 중요성: 토큰 사용량 관리는 기술 업계에서 "토크노믹스(tokenomics)"라는 새로운 관심사로 떠올랐으며, 기업들은 토큰 사용량을 모니터링하고 비용 효율적인 모델을 선택하기 위한 시스템을 개발하거나 구매하고 있다.
* AI 비용 부담 요인: AI 도구의 가격 변동성, 더 강력하고 비싼 새 모델의 지속적인 출시, 조직 전반의 새로운 업무 방식 도입의 어려움 등이 기업의 AI 비용 부담을 가중시키고 있다.
* AI 투자 장려 사례: Baseball Lifestyle 101은 상위 관리자들에게 월급의 약 20%를 AI 토큰에 지출하도록 지시했으며, 이를 통해 100만 달러 규모의 주문을 성사시키는 등 긍정적인 ROI를 경험하고 있다.

시사점

AI 토큰 사용량 증가는 기업들의 운영 비용에 상당한 영향을 미치고 있으며, 효율적인 토큰 사용량 관리 및 최적화 전략 수립이 기업들의 AI 투자 성패를 가를 중요한 요소가 될 것으로 보인다.