Has the hunt for AI compute uncovered the next Cerebras?

개요

General Compute는 AI 모델 추론을 위한 클라우드 서비스를 제공하며, SambaNova의 새로운 특화 칩을 활용하여 기존 GPU 대비 향상된 성능과 효율성을 제공한다.

주요 내용

• AI 컴퓨트 수요와 과제: AI 모델 학습 및 운영을 위한 컴퓨트 자원 확보에 대한 수요가 급증하고 있으며, 이를 위해 적합한 칩 확보와 데이터 센터 내 설치라는 두 가지 주요 과제를 해결해야 한다.
• 새로운 추론 칩의 등장: AI 모델이 학습 후 사용자에게 응답을 생성하는 추론 단계는 학습 단계와 다른 컴퓨팅 요구사항을 가지며, 이를 위해 SambaNova와 같은 회사들이 특화된 칩을 개발하고 있다.
• SambaNova SN50 칩의 강점: SambaNova의 새로운 칩은 기존 GPU 및 경쟁사 칩 대비 유연한 아키텍처, 더 많은 메모리, 공랭식 냉각, 낮은 전력 소비를 특징으로 한다. 특히 초당 600~700 토큰 처리 성능을 주장하며, 이는 GPU의 약 250 토큰/초 대비 높은 수치이다.
• General Compute의 인프라 전략: General Compute는 SambaNova SN50 칩을 3억 달러 상당 주문했으며, 이 칩을 최초로 배포하는 클라우드 서비스가 될 예정이다. 또한, 기존 데이터 센터 시설에 수용 가능한 공랭식 칩을 활용하여 인프라 투자 없이 서비스를 제공할 계획이다. 암호화폐 채굴 시설과의 제휴도 모색 중이다.
• 추론 클라우드의 중요성 증대: AI 모델의 속도와 추론 비용이 경쟁력이 되는 환경에서, General Compute와 같은 추론 클라우드는 여러 모델과 에이전트가 공존하는 미래 AI 생태계에서 중요한 역할을 할 것으로 예상된다.
• Agent 기반 AI의 속도 요구 증대: 코딩 에이전트의 작업 시간을 단축하거나, 고객 서비스용 오디오 에이전트의 효율적인 대화를 위해 더 빠른 추론 속도가 요구되고 있다.

시사점

General Compute는 SambaNova의 혁신적인 추론 칩을 활용하여 AI 컴퓨팅의 병목 현상을 해결하고, Agent 기반 AI 시대에 필수적인 초고속, 고효율 추론 서비스를 제공하며 시장을 선도할 가능성을 보여준다.