Agentic AI Vocabulary for DevOps: 12 Terms You Already Operate Under Another Name

개요

Agentic AI의 용어 중 상당수는 기존 DevOps 인프라스트럭처의 개념을 재명명한 것으로, 비결정성(nondeterminism)과 예측 불가능한 런타임 비용이라는 두 가지 근본적으로 새로운 개념에 대한 이해가 중요합니다.

주요 내용

* Agentic AI 용어와 기존 DevOps 개념의 재해석:
* Agent loop: 기존의 Kubernetes Controller나 Argo CD sync와 같은 Reconciliation Loop와 유사하며, 상태를 감시하고 원하는 상태로 만들기 위해 작동합니다.
* Tool use: 챗봇의 API 호출과 같이 권한이 부여된 도구를 사용하는 것으로, 근본적으로 IAM(Identity and Access Management) 문제이며, 에이전트의 권한 범위가 해당 도구의 권한과 동일합니다.
* MCP (Model Context Protocol): CSI(Container Storage Interface)나 CNI(Container Network Interface)와 유사한 플러그인 인터페이스로, 도구, 데이터, 프롬프트를 에이전트에 일관되게 노출합니다.
* Guardrails: 기존의 OPA(Open Policy Agent), Kyverno, RBAC(Role-Based Access Control)와 같은 정책 강제 메커니즘으로, 에이전트 외부에서 작동해야 효과적입니다.
* Grounding: 실제 상태(Metrics, Logs, Traces)를 읽고 의사 결정에 활용하는 것으로, Observability의 확장입니다.
* Human-in-the-loop: Pull Request 검토나 파이프라인의 수동 승인과 같은 변경 승인 게이트 역할을 합니다.
* Orchestrator, Subagent, Multi-agent: 기존의 스케줄러, 작업 큐, 분산 시스템과 유사하며, 부분 실패, 중복 작업, 조정 비용 증가 등의 문제를 예상할 수 있습니다.
* Memory: StatefulSet과 같이 지속되는 상태를 의미하며, 데이터와 동일한 처리 요구 사항을 가집니다.
* Context window: 메모리 제한과 유사하며, 초과 시 내용이 삭제될 수 있습니다.

* Agentic AI의 두 가지 새로운 개념:
* 비결정성 (Nondeterminism): 동일한 입력에도 다른 출력을 생성할 수 있어 기존의 테스트, 재현, 롤백 등의 운영 방식에 대한 재검토가 필요합니다.
* 예측 불가능한 런타임 비용 (Unbounded Runtime Cost): 에이전트의 실행 횟수와 처리량에 따라 비용이 가변적이며, 이에 대한 예산 관리 및 반복 횟수 제한이 중요합니다.

* DevOps 엔지니어가 Agentic AI를 운영하기 위한 질문:
* 어떤 자격 증명이 사용되는가? (Which credentials?): 에이전트의 blast radius를 정의합니다.
* 어디에 강제되는가? (Enforced where?): 시스템 프롬프트가 아닌 외부 정책 또는 RBAC 등 실제 집행 지점을 확인합니다.
* 무엇을 읽는가? (What does it read?): 에이전트가 읽는 모든 것을 신뢰할 수 없는 입력으로 간주합니다.
* 감사 추적에는 무엇이 기록되는가? (What does the audit trail record?): 에이전트가 읽은 내용까지 기록해야 문제 재현 및 조사가 가능합니다.
* 비용 상한선은 얼마인가? (What is the cost ceiling?): 런타임 비용에 대한 상한선을 설정하고 외부에서 강제해야 합니다.

시사점

Agentic AI의 도입은 기존 DevOps 관행의 재해석을 통해 기술 부채 없이 보안 및 운영 리스크를 관리하는 데 중점을 두어야 하며, 특히 비결정성과 비용 예측 불가능성이라는 두 가지 핵심적인 새로운 측면에 대한 깊이 있는 이해와 통제가 필수적입니다.