LLM Gateway vs MCP Gateway: Understanding the New AI Infrastructure Stack

개요

AI 애플리케이션이 복잡해지면서 LLM Gateway, MCP Gateway 등 새로운 AI 인프라 계층이 부상하고 있으며, 이는 모델과 외부 시스템 간의 상호작용을 관리하는 데 필수적인 역할을 합니다.

주요 내용

* 현대 AI 시스템의 복잡성: 초기 AI 애플리케이션은 단일 LLM과의 상호작용에 그쳤으나, 현대 엔터프라이즈 AI 시스템은 여러 LLM, GitHub, Slack, Jira와 같은 외부 API 접근, 도구 동적 탐색, 보안 및 규정 준수 정책 적용, 사용량 및 비용 추적 등 다양한 요구사항을 충족해야 합니다.
* LLM Gateway: 모든 모델 상호작용을 위한 단일 진입점을 제공하여, OpenAI, Anthropic, Gemini 등 다양한 LLM 제공업체에 대한 개별적인 통합 없이 인증, 속도 제한, 사용량 추적, 비용 모니터링, 보안 정책 적용 등을 중앙에서 관리할 수 있게 합니다.
* LLM Router: 비용, 지연 시간, 성능, 가용성 등의 요소를 기반으로 요청에 가장 적합한 LLM을 자동으로 선택하여, 품질과 비용을 최적화합니다.
* MCP (Model Context Protocol): AI 에이전트가 도구 및 외부 시스템과 상호작용하는 표준 방식으로, 개발자가 GitHub, Slack, Notion 등의 서비스 기능을 MCP 서버를 통해 노출할 수 있게 합니다.
* MCP Gateway: 에이전트와 MCP 서버 간의 중앙 집중식 액세스 계층으로, 통합 인증, 액세스 제어, 감사, 관찰 가능성, 거버넌스를 제공하여 조직이 단일 게이트웨이를 통해 정책을 강제할 수 있게 합니다.
* MCP Proxy vs MCP Gateway: MCP Proxy는 주로 인증 및 연결성을 처리하며 요청을 전달하는 반면, MCP Gateway는 거버넌스, 모니터링, 정책 적용, 액세스 관리, 레지스트리 통합 등 더 포괄적인 관리 기능을 제공합니다.
* 레지스트리 (MCP Registry, Agent Registry, Skills Registry): MCP 서버, 배포된 AI 에이전트, 재사용 가능한 기술, 도구 및 워크플로우에 대한 중앙 집중식 카탈로그를 제공하여, 중복을 방지하고 거버넌스를 개선합니다.
* AI 인프라 계층의 중요성: LLM Gateway, LLM Router, MCP Gateway, MCP Proxy, MCP Registry, Agent Registry, Skills Registry 등의 기술은 더 이상 단순한 모델을 넘어, 모델, 에이전트, 도구가 함께 작동하는 방식을 관리하는 데 중요한 구성 요소가 되고 있습니다.

시사점

향후 엔터프라이즈 AI의 성공은 단순히 더 나은 모델 개발을 넘어, 복잡하게 얽힌 모델, 에이전트, 도구 간의 상호작용을 효율적으로 관리하는 인프라 기술의 성숙에 달려있습니다.