OpenAI unveils its first custom chip, built by Broadcom

개요

OpenAI는 Broadcom과의 협력을 통해 자체 개발한 첫 번째 커스텀 AI 추론 프로세서인 'Jalapeño'를 공개했으며, 이는 OpenAI의 AI 모델을 활용하여 개발되었습니다.

주요 내용

• Jalapeño 프로세서: OpenAI의 추론 시스템에 특화된 요구사항을 충족하도록 설계 및 제조된 첫 번째 커스텀 칩입니다.
• Broadcom 협력: Broadcom과의 파트너십을 통해 개발되었으며, 이는 OpenAI의 칩 개발 계획에 대한 오랜 소문을 공식화한 것입니다.
• 성능 및 효율성: 초기 테스트 결과, 현재 최고 수준의 대안 대비 와트당 성능(performance-per-watt)이 상당히 개선된 것으로 나타났습니다.
• 추론(Inference) 최적화: Jalapeño는 AI 모델이 사용자 명령에 응답하여 실행되는 추론 과정에 중점을 두고 설계되었습니다. 특히 실시간 코딩 모델 실행 시 낮은 운영 비용을 강조했습니다.
• 전체 스택 최적화: OpenAI는 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험까지 AI 모델의 성능, 안정성, 비용 효율성을 높이기 위해 전체 인프라 스택을 최적화하고 있습니다.
• Nvidia 의존성 감소: 이번 자체 칩 개발은 OpenAI가 Nvidia GPU에 대한 의존도를 줄이려는 전략의 일환으로 해석됩니다.
• AI 가속기 동향: Google, Amazon과 같이 OpenAI도 AI 워크로드를 가속화하기 위한 맞춤형 칩 개발에 동참하고 있습니다.

시사점

OpenAI의 자체 칩 개발은 AI 모델의 효율적인 운영과 비용 절감이라는 AI 경제성의 핵심 과제를 해결하고, AI 기술 전반의 발전과 사용자 경험 향상에 기여할 잠재력을 가지고 있습니다.