The Army Is Burning Through Its AI Tokens

개요

미 육군이 초기 무제한 토큰 제공에도 불구하고 AI 사용량 급증으로 인해 토큰 사용량 제한을 재도입하게 되었다.

주요 내용

* 미 국방부(DOD)는 약 350만 명의 직원이 AI를 사용하고 있다고 발표했으나, 미 육군의 Combat Capabilities Development Command(DEVCOM)는 토큰 소진으로 사용량 제한을 통보받았다.
* 미 육군은 2026년 5월 AI CIO가 무제한 토큰을 제공한다고 발표했으나, 6월 중순에 이미 모든 토큰이 소진되어 사용량 제한이 재설정되었다.
* 토큰 사용량은 현재 수준으로 갱신될 예정이나, 10월 1일 이후 AI CIO 풀이 갱신될지는 불확실하다.
* 미 육군은 Alphabet의 Gemini, Meta의 Llama, OpenAI의 ChatGPT 등 다양한 LLM을 실행할 수 있는 멀티모달 생성 AI 플랫폼인 Ask Sage를 사용하고 있다.
* 한 미 육군 직원은 "한 서비스에 대한 연간 토큰을 단 한 달 만에 모두 소진했다"고 익명으로 밝혔다.
* Ask Sage는 "기업 LLM 작업 공간"을 지원하고 "통제되지 않은 비공개 정보(Controlled Unclassified Information)"에 대해 승인되었으며, 국방부 최고 디지털 및 AI 사무소(CDAO)의 인수합병에도 사용된다.
* 미 육군은 직원들에게 생성형 AI 사용을 적극 권장했으며, 초기 할당량(월 20만 토큰 이상)을 초과하면 자동으로 추가 토큰이 할당되었다.
* Ask Sage는 연간 1억 개의 토큰을 포함하는 "기업 팩(enterprise pack)" 구독을 통해 이용 가능하며, 토큰은 LLM 출력 단위(텍스트 또는 이미지)를 나타낸다. Ask Sage에서는 1토큰이 약 3.7자(character)에 해당한다.
* 과거 38일간의 Operation Epic Fury 작전 동안 국방부는 하루 약 200억 개의 토큰을 소진했다.
* 미 육군 및 국방부, Ask Sage 측은 관련 문의에 대한 응답을 하지 않았다.
* 일반 직원들의 토큰 사용량과 기밀 또는 비밀 정보에 사용되는 AI 도구의 토큰 풀이 동일한지는 불분명하다.
* 펜타곤은 민간인 사상자 발생을 줄이는 업무를 수행했던 민간 보호 센터(Civilian Protection Center of Excellence) 인력을 감축하고, 해당 업무를 AI 도구로 대체하려는 움직임을 보이고 있다.
* 미 육군 외에도 Meta는 초기 "토큰 최대화(tokenmaxx)" 권장 후 토큰 사용량 추적 리더보드를 비공개로 전환하고 사용량 제한을 고려하고 있으며, Uber 역시 4개월 만에 연간 토큰 사용량을 초과한 것으로 알려졌다.
* 해당 미 육군 직원은 생성형 AI 도구가 업무에 큰 도움이 되지 않았고, 때로는 신뢰할 수 없었다고 언급하며, "미국 연방 정부 관료제의 여러 측면에는 도움이 될 수 있지만, 무비판적인 적용과 사용은 효과적이고 효율적이며 신뢰할 수 있는 결과로 이어지지 않을 것"이라고 덧붙였다.

시사점

생성형 AI의 빠른 채택과 과도한 사용은 예상치 못한 토큰 소진 및 비용 문제를 야기하며, 기업 및 조직은 효과적인 AI 활용을 위한 신중한 관리 및 전략 수립이 필요함을 시사한다.