Building a 4-Tier AI Cost Auto-Routing System with Supabase Edge Functions

개요

Supabase Edge Functions를 사용하여 구축된 4-Tier AI 비용 자동 라우팅 시스템은 저렴한 AI 모델 실패 시 더 비싼 모델로 자동 전환하여 AI 요청의 비용 효율성과 가용성을 최적화합니다.

주요 내용

- 4-Tier 아키텍처: AI 제공 업체는 비용 수준별로 4개의 티어로 분류됩니다.
* 무료 (Free): DeepSeek, Groq, Cerebras, SiliconFlow, Novita (1,000 토큰당 예상 비용 $0.0001)
* 예산 (Budget): SambaNova, Arcee AI, MiniMax, DeepInfra (1,000 토큰당 예상 비용 $0.001)
* 성능 (Performance): OpenAI, Google, Mistral, Cohere, Perplexity (1,000 토큰당 예상 비용 $0.01)
* 프리미엄 (Premium): Anthropic Claude, OpenAI GPT-4, Gemini Ultra (1,000 토큰당 예상 비용 $0.05)
- 자동 에스컬레이션 로직: callWithAutoEscalation 함수는 정의된 TIER_ORDER에 따라 "무료" 티어부터 시작하여 AI 요청을 라우팅합니다. 현재 티어의 모든 제공 업체가 실패하면 다음 티어로 자동으로 전환됩니다.
- 오류 처리: 제공 업체가 실패(할당량, 네트워크, API 오류 등)하면 시스템은 동일 티어 내의 다음 제공 업체를 시도하고, 해당 티어의 모든 제공 업체가 실패하면 다음 티어로 에스컬레이션합니다.
- 비용 추적: 각 요청은 ai_hub_chat_logs에 제공 업체, 티어, 예상 비용(USD)과 함께 기록되어 실제 사용되는 제공 업체, 에스컬레이션 발생 시점, 월별 비용 분석을 추적할 수 있습니다.
- 코드 재구성: 기존 provider.chat의 인라인 API 호출 로직을 callSingleProvider() 함수로 추출하여 provider.chat 및 provider.chat_auto에서 코드 중복을 제거했습니다.
- 결과: 무료 티어(DeepSeek/Groq 무료 API)가 대부분의 요청을 거의 비용 없이 처리하며, 프리미엄 티어 할당량 초과 시 자동으로 OpenAI, Google, 이후 DeepSeek 순으로 대체됩니다. 이를 통해 AI 기능의 가용성이 크게 향상되었습니다.

시사점

이 시스템은 Supabase Edge Functions를 활용하여 AI 서비스 비용을 효과적으로 관리하고, 특정 제공 업체에 대한 종속성을 줄이며, AI 기능의 안정적인 운영을 보장하는 실용적인 솔루션을 제공합니다.