Show HN: GoModel – an open-source AI gateway in Go; 44x lighter than LiteLLM

개요

GoModel은 Go 언어로 작성된 오픈소스 AI 게이트웨이로, OpenAI, Anthropic, Gemini 등 다양한 LLM 제공업체에 대한 OpenAI 호환 API를 제공하며 기존 솔루션 대비 44배 가벼운 것이 특징입니다.

주요 내용

* 광범위한 LLM 제공업체 지원: OpenAI, Anthropic, Gemini, xAI, Groq, OpenRouter, Z.ai, Azure OpenAI, Oracle, Ollama 등 다수의 LLM 제공업체에 대한 통합 API 엔드포인트를 제공합니다.
* OpenAI 호환 API: 기존 OpenAI API와 동일한 방식으로 작동하는 /v1/chat/completions, /v1/embeddings 등 다양한 엔드포인트를 지원합니다.
* 간편한 배포 및 설정: Docker 이미지를 제공하며, 환경 변수 설정을 통해 API 키 및 기본 URL을 지정하는 방식으로 쉽게 배포 및 구성할 수 있습니다.
* 고성능 및 경량화: Go 언어로 작성되어 높은 성능을 제공하며, LiteLLM 대비 44배 가벼운 리소스 사용량을 자랑합니다.
* 응답 캐싱 기능: 정확히 일치하는 요청과 의미론적으로 유사한 요청 모두에 대해 캐싱을 지원하여 LLM API 비용과 지연 시간을 줄입니다.
* Layer 1 (Exact-match cache): 요청 본문의 해시를 기반으로 저장된 응답을 반환합니다.
* Layer 2 (Semantic cache): 마지막 사용자 메시지를 임베딩하여 KNN 벡터 검색을 수행, 의미론적으로 동등한 쿼리에 대해 캐싱된 응답을 제공합니다.
* Provider-native Passthrough: /p/{provider}/... 경로를 통해 각 제공업체의 네이티브 API를 그대로 사용할 수 있는 기능을 지원합니다.
* 다양한 관리 API: 토큰 사용량, 모델 정보, 감사 로그 등에 대한 관리 API 엔드포인트를 제공합니다.
* 로드맵: 향후 지능형 라우팅, 더 많은 제공업체 지원, 예산 관리, Prompt 캐시 가시성 등의 기능 추가를 계획하고 있습니다.

시사점

GoModel은 다양한 LLM 서비스를 단일 API로 통합하고 운영 비용을 절감할 수 있는 강력한 도구로, 개발자들이 LLM 기반 애플리케이션을 더욱 효율적으로 구축하고 관리할 수 있도록 지원합니다.