What happens to your app when your LLM provider goes down

개요

LLM 제공업체의 장애가 애플리케이션에 미치는 영향을 조사하고, 여러 LLM 제공업체를 활용하여 애플리케이션의 안정성을 확보하는 방안을 모색합니다.

주요 내용

• 현재 대부분의 AI 기반 애플리케이션은 단일 LLM 제공업체에 의존하며, 이는 API 키, 엔드포인트, 회사 신뢰성에 대한 단일 실패 지점을 만듭니다.
• API는 궁극적으로 중단되거나, 느려지거나, 최악의 순간에 속도 제한을 받을 수 있으며, 이는 사용자에게 애플리케이션의 오류로 인식됩니다.
• 데이터베이스 및 서버 분야에서 오랫동안 사용해 온 것처럼, LLM 요청을 여러 제공업체에 분산시키는 아이디어가 제안됩니다.
• 여러 LLM 제공업체를 사용하는 것의 어려움은 각 제공업체가 서로 다른 API, 응답 형식, 오류 방식을 사용한다는 점입니다.
• 이를 해결하기 위해 애플리케이션으로부터 이러한 복잡성을 숨기고 장애 발생 시 올바른 호출을 수행하는 중간 계층(layer)의 필요성이 강조됩니다.
• 이 중간 계층은 LLM을 불안정한 종속성으로 취급하고, 장애 시 대체 제공업체로 라우팅하는 역할을 합니다.
• 저자는 AI 인프라의 덜 알려진 부분, 특히 실제 트래픽이 발생할 때 시스템이 얼마나 잘 견딜 수 있는지에 대한 내용을 다룰 계획입니다.

시사점

LLM 제공업체의 장애는 애플리케이션의 서비스 중단으로 이어질 수 있으므로, 여러 LLM 제공업체를 활용하고 이를 추상화하는 중간 계층을 구축하는 것은 AI 기반 애플리케이션의 신뢰성과 안정성을 확보하기 위한 필수적인 접근 방식입니다.