Unlimited AI tokens aren't unlimited after all as US Army burns through supply

개요

미 육군이 연간 1억 개의 토큰 구독을 통해 생성형 AI 도구인 Ask Sage를 사용하면서, 38일간의 작전 중 하루 약 200억 개의 토큰을 소진하여 '무제한' 토큰의 현실적인 한계를 드러냈다.

주요 내용

* 미 육군은 연간 구독으로 1억 개의 토큰을 받았으나, 38일간의 작전 기간 동안 하루 평균 약 200억 개를 사용했다.
* Ask Sage에서 토큰은 텍스트 또는 이미지 출력 단위이며, 1 토큰은 약 3.7자(characters)에 해당한다.
* 육군 및 국방부(DOD)는 관련 문의에 대한 답변을 거부했으며, 기밀 정보에 사용되는 토큰이 일반 직원들이 사용하는 것과 동일한 풀에서 나오는지 여부는 불분명하다.
* 국방부는 AI에 대한 강조를 지속하며, 민간인 사상자 방지를 담당하던 인력을 감축하고 해당 업무를 AI 도구로 대체하려는 움직임을 보이고 있다.
* 메타(Meta) 역시 직원들에게 토큰 사용량 극대화를 독려하다가 토큰 사용량 추적 리더보드를 비공개로 전환하고 사용량 제한을 검토하고 있다.
* 우버(Uber)에서도 엔지니어들이 4개월 만에 1년치 생성형 AI 토큰을 소진한 것으로 보고되었다.
* 익명의 육군 직원은 생성형 AI 도구가 업무에 큰 도움이 되지 않았으며, 때로는 부정확하거나 완료되지 않은 작업을 완료했다고 주장하는 등 신뢰성이 낮다고 평가했다.

시사점

이러한 사례들은 생성형 AI의 '무제한' 토큰이라는 개념이 현실적인 사용량과 비용 측면에서 한계가 있음을 시사하며, 효과적이고 효율적인 AI 도입을 위해서는 신중한 계획과 관리가 필요함을 보여준다.