Introducing Portkey's Agent Gateway

개요

Portkey의 Agent Gateway는 기업들이 개발한 AI 에이전트를 프로덕션 환경에서 안정적이고 안전하게 운영할 수 있도록 지원하는 새로운 프로덕션 레이어이다.

주요 내용

* Portkey의 AI 운영 지원 강화: Portkey는 LLM 호출을 프로덕션 환경에서 안정적으로 운영하고 거버넌스와 가시성을 제공하는 데 집중해왔으며, 현재 수천 개의 팀이 Portkey를 통해 하루 1조 토큰 이상을 처리하고 있다.
* AI 에이전트의 부상과 문제점: 기존의 간단한 AI 애플리케이션을 넘어, 자율적으로 동작하고, 툴 호출을 체인으로 연결하며, MCP 서버를 소비하는 등 장기적인 시간 축에서 실제 결과를 만들어내는 AI 에이전트 개발이 증가하고 있다. 이러한 에이전트들은 '누가 호출할 수 있는가', '비용은 얼마인가', '무엇을 했는가', '문제가 발생했을 때 누가 책임지는가'와 같은 공통적인 문제에 직면한다.
* Agent Gateway의 역할: Agent Gateway는 이러한 AI 에이전트와 외부 세계를 연결하는 프로덕션 레이어 역할을 수행한다. 어떤 에이전트든 등록하고, 거버넌스가 적용된 Portkey 엔드포인트를 통해 모든 호출을 단일 프로덕션 스택으로 관리할 수 있다. 에이전트 코드나 클라이언트는 변경할 필요 없이 중앙 집중식으로 상황을 파악하고, 접근 제어를 수행하며, 조직 전체의 정책을 강제할 수 있다.
* Agent Gateway의 주요 기능:
* 거버넌스 및 접근 제어: 에이전트, 팀, 사용자별로 범위를 지정할 수 있으며, 예산 및 사용량 제한을 설정하고 모든 에이전트에 일괄 적용할 수 있다. 정책 변경은 재배포 없이 즉시 조직 전체에 적용된다.
* 완전한 관찰 가능성 (Observability): 에이전트가 수행하는 모든 MCP 호출을 포함하여 에이전트 실행의 전체 트레이스를 제공하며, 40개 이상의 기본 제공 메트릭으로 문제 발생 시 기록을 확보할 수 있다.
* 내장된 안정성: 게이트웨이 레이어에서 자동 대체 및 로드 밸런싱을 제공하여 프로바이더 장애가 에이전트에 미치는 영향을 사전에 해결한다.
* 보안 및 가드레일: PII 탐지, PHI 필터링, 콘텐츠 중재 등 50개 이상의 가드레일을 사용자 정의 설정 없이 사용할 수 있다.
* 통합 인증 모델: API 키, JWT, Basic Auth, MCP 인증 사양, 세분화된 RBAC 등 다양한 인증 방식을 지원하며, 에이전트 구축 방식에 관계없이 일관된 인증 모델을 제공한다.
* Agent Registry: 에이전트 수가 증가함에 따라 누가 어떤 에이전트를 소유하고 접근 권한이 있는지에 대한 가시성 문제가 발생하는데, Agent Registry는 각 에이전트에 고유한 거버넌스 엔드포인트, 접근 제어, 스킬 및 기능 정의를 제공하는 서비스 카탈로그 역할을 한다.
* 시작하기: Agent Gateway는 현재 베타 버전으로 제공되며, Portkey의 AI Gateway가 LLM 호출을 위한 프로덕션 레이어가 되었듯, Agent Gateway는 그 위에 구축된 에이전트를 위한 프로덕션 레이어 역할을 한다.

시사점

Agent Gateway는 AI 에이전트 개발 및 운영의 복잡성을 줄이고, 보안, 거버넌스, 안정성을 확보하며, 가시성을 개선하여 기업들이 AI 에이전트를 프로덕션 환경에 성공적으로 배포하고 확장할 수 있도록 지원하는 핵심 인프라이다.