OpenAI says its Jalapeño chip can power faster AI responses than the competition

개요

OpenAI가 개발한 새로운 AI 칩 'Jalapeño'는 경쟁사 AI 시스템보다 효율적으로 작업을 완료하고 응답 속도를 높이는 성능을 제공한다.

주요 내용

* Jalapeño는 낮은 지연 시간(latency)과 높은 처리량(throughput)을 동시에 제공하여, 기존 AI 시스템들이 둘 중 하나를 희생해야 했던 단점을 개선했다.
* 이 칩은 AI 추론(inference)을 위해 설계된 ASIC(Application-Specific Integrated Circuit)으로, Broadcom과의 파트너십을 통해 제작되었다.
* InferenceX 벤치마킹 플랫폼을 사용한 테스트 결과, Jalapeño는 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T 모델에서 Nvidia의 GB200 또는 GB300 슈퍼칩 대비 와트당 1.5~1.9배 더 많은 AI 작업을 처리했으며, 종단 간 지연 시간은 1.7~3.6배 더 낮았다.
* 이러한 성능 개선을 통해 사용자는 더 빠른 응답, 반응성이 뛰어난 에이전트, 그리고 증가하는 수요에 대한 안정적인 접근성을 기대할 수 있다.
* OpenAI는 올해 말까지 소량으로 Jalapeño를 배포하고, 2027년까지 생산량을 점진적으로 늘릴 계획이다.
* Jalapeño가 기존 칩 라인업을 완전히 대체하지는 않을 것이며, Nvidia와 같은 파트너들과의 협력을 포함한 전반적인 컴퓨팅 전략의 일부로 활용될 예정이다. OpenAI는 Jalapeño의 2세대 및 3세대 칩 개발도 지속할 것이다.

시사점

Jalapeño 칩은 AI 추론 성능과 효율성을 크게 향상시켜, 사용자 경험을 개선하고 AI 시스템의 확장성을 높이는 데 기여할 잠재력을 가지고 있다.