Hot French startup ZML releases free product to speed inference across lots of AI chips

개요

프랑스의 AI 스타트업 ZML이 다양한 AI 칩에서 LLM 추론 성능을 가속화하는 무료 추론 서버 소프트웨어인 ZML/LLMD를 출시했습니다.

주요 내용

• ZML/LLMD는 Nvidia, AMD, Google TPU, Apple Metal, Intel Arc 등 다양한 칩에서 오픈 소스 LLM을 최대한의 속도로 실행할 수 있도록 설계되었습니다.
• 이 소프트웨어의 목표는 AI 칩 사용의 제약을 해소하고, 다양한 칩 옵션을 통해 AI 추론 비용 및 에너지 소비를 최적화하는 것입니다.
• ZML은 20명으로 구성된 소규모 팀과 2천만 달러의 투자금을 바탕으로 신속하게 제품을 개발했습니다.
• ZML/LLMD는 오픈 소스가 아니지만, 사용량 파악 및 향후 수익화 전략 수립을 위해 무료로 제공됩니다.
• 이 출시에는 Yann LeCun, Hugging Face 창업자 등 AI 분야 저명 인사들이 투자 및 지지를 표명했습니다.
• ZML은 유럽의 새로운 AI 칩 제조사들과 협력하여 혁신적인 기술 개발을 모색하고 있습니다.

시사점

ZML/LLMD의 출시는 AI 칩 시장의 다변화를 촉진하고, 기업들이 특정 벤더에 종속되지 않고 비용 효율적으로 AI 인프라를 구축할 수 있는 새로운 가능성을 제시합니다.