Why the first GPU financiers are turning to inference chips in a $400 million deal

개요

AI 추론 클라우드 스타트업 General Compute가 기술 투자 회사 Upper90으로부터 4억 달러 규모의 대출을 확보했으며, 이는 추론 전용 칩을 담보로 제공하는 최초의 거래일 수 있습니다.

주요 내용

* General Compute는 이미 훈련된 AI 모델을 빠르고 효율적으로 실행하기 위해 설계된 추론 전용 칩을 담보로 Upper90으로부터 4억 달러의 대출을 받았습니다.
* 이는 최신 LLM의 높은 비용과 토큰 가격에 대한 시장의 우려에 대응하여, 오픈 소스 모델을 더 저렴하게 실행할 수 있는 인프라로 시장이 전환되고 있음을 시사합니다.
* General Compute는 SambaNova의 SN50 칩을 사용하여 기존 GPU 기반 클라우드보다 16배 빠른 추론 속도를 제공하며, 전력 효율적이고 물 냉각 시스템을 요구하지 않아 데이터센터에 더 빠르게 배포할 수 있습니다.
* Upper90은 과거 Crusoe에 GPU 구매 자금을 지원했던 경험을 바탕으로, CoreWeave의 성공 사례를 통해 칩을 담보로 한 금융 거래의 가능성을 확인하고 General Compute에 투자했습니다.
* Upper90은 오픈 소스 모델의 중요성을 인지하고 추론 분야의 선도 기업을 모색했으며, 이는 OpenRouter, Fireworks 등 오픈 모델 제공 기업들의 성공과 신규 칩 메이커들의 등장과 맥락을 같이 합니다.
* Nvidia 생태계 외부의 칩에 대한 General Compute의 접근성은 AMD와 파트너십을 맺은 TensorWave와 같은 다른 AI 인프라 기업들과 유사한 전략이며, Nvidia 독점 지배력의 분열을 알리는 신호로 해석됩니다.

시사점

이 거래는 추론 전용 칩을 담보로 한 최초의 대규모 금융 거래로서, AI 인프라 시장의 변화와 Nvidia의 독점적 지배력에 대한 도전 가능성을 보여주며, 오픈 소스 AI 모델의 확산과 비용 효율적인 추론 솔루션의 중요성이 부각되고 있음을 시사합니다.