The Manifest That Keeps Your AI Agent Honest

개요

Cognous의 Open Control Stack에서 제공하는 Agent Action Manifest는 AI 에이전트의 허용된 행동을 명시적으로 정의하는 파일 형식으로, 에이전트의 예측 불가능한 행동을 방지하고 보안을 강화하는 데 사용됩니다.

주요 내용

* Agent Action Manifest의 필요성: AI 에이전트가 잠재적으로 위험한 작업을 수행할 수 있으므로, 실행 전에 허용된 작업을 명확히 정의하는 메커니즘이 필요합니다. 이 정보는 버전 관리 및 검토가 가능한 파일 형태여야 합니다.
* Manifest의 구조: Manifest는 manifest_version, manifest_id, agent_name, owner, environment, default_action, tools, actions 등의 필드를 포함합니다.
* default_action: 명시적으로 정의되지 않은 모든 작업에 대한 기본 동작을 설정합니다 (예: block).
* tools: 에이전트가 사용할 수 있는 도구 목록과 각 도구의 허용 여부, 외부 시스템 정보, 데이터 분류 등을 정의합니다.
* actions: 에이전트가 수행할 수 있는 특정 행동들을 정의하며, 각 행동은 tool_name, action_type, description, default_action, reliance_requirement, authority_required, review_requirement, payload_policy, redaction_hints 등의 상세 설정을 포함합니다.
* 9가지 Action Type: read, write, external_send, delete, export, purchase, approve, escalate, other 와 같이 행동의 성격을 분류하여 거버넌스 검토에 도움을 줍니다.
* 4가지 Review Mode: none, human_review, approval_required, draft_first 와 같이 행동 수행 전에 필요한 검토 단계를 정의합니다. approval_required는 특정 검토자 역할을 명시해야 합니다.
* Reliance: 특정 행동이 어떤 소스(tool, database, file, API, user_input 등)에 의존하는지를 기록하여 거버넌스 검토 시 투명성을 제공합니다.
* Validator 도구 (aam): Manifest의 JSON 유효성을 검사하고, Semantic 오류(예: 권한이 없는 작업 허용)를 탐지하며, Manifest의 내용을 요약하는 CLI 도구입니다. validate와 summarize 명령어를 제공합니다.
* Manifest의 역할: Manifest는 AI 에이전트의 선언(Declare) 단계에 해당하며, 에이전트를 직접 실행하거나 런타임에서 강제하거나 권한을 부여하지 않습니다. 실제 실행 및 강제는 다음 단계인 Agent Control Plane에서 수행됩니다.

시사점

Agent Action Manifest는 AI 에이전트의 동작을 사전에 엄격하게 정의하고 검증함으로써, 의도치 않은 데이터 유출, 오용 또는 보안 사고를 예방하고 AI 시스템의 신뢰성과 안전성을 확보하는 데 중요한 역할을 합니다.