OpenAI and Broadcom unveil LLM-optimized inference chip

개요

OpenAI와 Broadcom이 LLM(Large Language Model) 추론에 최적화된 첫 번째 AI 가속기 칩인 Jalapeño를 공개했습니다.

주요 내용

* Jalapeño 칩: OpenAI의 첫 번째 인텔리전스 프로세서로, LLM 추론을 위해 처음부터 설계되었습니다.
* 성능: 초기 테스트 결과, 현재 최고 수준의 기술 대비 와트당 성능이 상당히 우수할 것으로 예상됩니다.
* 설계 특징: LLM의 근본적인 이해를 바탕으로 설계되었으며, 컴퓨팅, 메모리, 네트워킹 리소스의 효율적인 균형을 통해 이론적 최대 성능에 근접하는 활용도를 달성합니다.
* 다세대 플랫폼: Broadcom의 실리콘 구현 및 네트워킹 기술과 결합하여 장기적인 AI 인프라 구축을 목표로 합니다.
* 개발 기간: OpenAI 모델을 활용하여 설계부터 제조까지 9개월 만에 개발 완료되었습니다.
* 전체 스택 전략: OpenAI는 모델 개발뿐만 아니라 칩 아키텍처, 커널, 메모리 시스템, 네트워킹 등 인프라 전반을 자체 설계하여 효율성을 높이고 있습니다.
* 파트너 협력: Broadcom, Celestica와 협력하여 칩 구현, 보드, 랙 시스템 통합, 고성능 네트워킹, 확장 가능한 생산 시스템을 구축합니다.
* 확장 계획: 2026년 말부터 Microsoft 등 파트너사와 함께 기가와트 규모의 데이터 센터에 배포될 예정입니다.

시사점

Jalapeño 칩은 LLM 추론의 비용, 속도, 안정성을 개선하여 더 많은 사람들에게 AI를 더 빠르고, 신뢰할 수 있으며, 합리적인 가격으로 제공하는 데 기여할 것으로 기대됩니다.