OpenAI and Broadcom announce chip designed for LLM inference at scale

개요

OpenAI와 Broadcom이 데이터센터에서 대규모 언어 모델(LLM) 추론을 위해 설계된 새로운 칩 'Jalapeño'를 공개했습니다. 이 ASIC 칩은 OpenAI의 LLM 로드맵에 맞춰 특별히 개발되었습니다.

주요 내용

* Jalapeño 칩의 목적: 데이터센터 환경에서 LLM 추론 작업을 효율적으로 수행하도록 설계되었습니다.
* 개발 과정: Broadcom은 OpenAI 연구진과의 협력을 통해 LLM 추론에 최적화된 ASIC 칩을 9개월 만에 개발했습니다. OpenAI의 미래 모델 및 제품 로드맵에 대한 인사이트가 설계에 반영되었습니다.
* 성능 기대: 기존 데이터센터에서 사용되는 추론 시스템보다 LLM의 현재 요구사항에 더 특화되어 있으며, 초기 테스트 결과에서 전력 효율성(performance per watt)이 현재 최고 수준(state-of-the-art)보다 훨씬 우수할 것으로 예상됩니다.
* 장기 프로젝트: 이번 칩은 장기적인 협력의 첫 번째 결과물이며, 향후 지속적으로 개선될 예정입니다.
* 추가 정보: 자세한 성능 측정은 아직 완료되지 않았으며, 향후 기술 보고서를 통해 공개될 예정입니다.

시사점

Jalapeño 칩은 LLM 추론에 특화된 하드웨어 개발의 가능성을 보여주며, 향후 AI 모델의 효율적 운영 및 확장에 중요한 역할을 할 것으로 기대됩니다.