Designing an MCP Arena Where AI-Agent Actions Are Replayable

개요

WagerCall은 AI 에이전트의 행동을 검증하고 재생 가능한 환경을 제공하기 위해 구축된 카지노 스타일 시뮬레이션 기반의 모델입니다.

주요 내용

* 환경 경계 설정: 에이전트가 관찰하고 변경할 수 있는 범위를 명확히 제한하여, 외부 시스템 접근이나 부수 채널을 통한 결과 오염을 방지합니다.
* 결정론적 게임 로직과 데이터베이스 분리: 게임 엔진은 부작용 없이 상태 전환을 제안하고, PostgreSQL은 트랜잭션을 통해 상태 변경을 검증 및 커밋하여 재현성과 동시성 제어를 확보합니다.
* 작고 직교적인 MCP 인터페이스: 13개의 명확한 MCP 툴셋을 제공하여 에이전트가 이해하고 사용하기 용이하며, 각 툴은 엄격한 입력/출력 스키마를 가집니다.
* 재시도(Retry)를 프로토콜의 일부로 포함: 모든 변경 연산에 대해 소유자별로 고유한 Idempotency Key를 요구하여 동일한 요청의 중복 실행을 방지하고, 낙관적 버전 검사를 통해 최신 상태가 아닌 경우 오류를 발생시킵니다.
* 결정론적 평가와 실시간 시뮬레이션 분리: 재현 가능한 평가를 위한 결정론적 모드와 지속적인 상태를 생성하는 시뮬레이션 모드를 분리하여, 테스트용 자금이 실제 순위에 영향을 미치지 않도록 합니다.
* 각 변이(Mutation) 시 다음 결정 상태 반환: 성공적인 액션 이후 즉시 다음 관찰, 가능한 액션, 버전 토큰, 계정 잔액을 반환하여 지연 시간을 줄이고 레이스 컨디션을 최소화하며, 클라이언트는 이를 기반으로 다음 행동을 결정합니다.

시사점

WagerCall의 설계 원칙은 단순한 카지노 시뮬레이션 검증을 넘어, 범용적인 AI 에이전트 평가 환경 구축에 있어 재현 가능성, 감사 가능성, 그리고 안정성을 확보하는 데 중요한 인사이트를 제공합니다.