Building the enterprise environment for agentic AI

개요

Agentic AI는 단순한 챗봇을 넘어 사람, 비즈니스 워크플로우, 데이터, 시스템 전반에 걸쳐 비즈니스 작업을 엔드투엔드로 실행하는 소프트웨어 에이전트를 의미하며, 기업 환경에서는 CPU 용량, 복원력 있는 데이터 액세스, 정책 인지적 도구 사용, 가시성, 메모리 관리, 예측 가능한 계획 및 확장 능력을 갖춘 플랫폼이 필수적이다.

주요 내용

- Agentic AI는 추론 문제만이 아닌 시스템 문제: Agentic AI의 가치는 LLM 추론뿐만 아니라 작업 오케스트레이션, 데이터 액세스, 도구 실행, 지연 시간 관리, 거버넌스, 확장 가능한 인프라를 포함하는 전체 시스템에 달려있으며, 에이전트는 목표 지향적인 자동화된 기업 워크플로우 프로세스로서 계획, 도구 호출, 결과 읽기, 실패 시 재시도를 수행한다.
- 측정 지표의 중요성: 기존 Agentic AI 메트릭은 주로 LLM 평가에 집중하지만, 기업 환경에서는 작업 완료 시간, 지원 가능한 에이전트 수, 사용자 경험, 비용 변화 등을 고려해야 하며, 유용한 기업 메트릭에는 작업 성공률, 작업당 비용, 작업 시간, 작업 처리량, 에이전트 밀도(vCPU당 에이전트 수), 지연 시간이 포함된다.
- 실험 및 벤치마킹: Intel은 AI 에이전트 평가를 위한 오픈 소스 벤치마킹 도구인 Terminal-Bench를 확장하여 LLM 추론 외 에이전트의 시간 사용처를 파악했으며, LLM 응답의 결정론적 기록-재생 기능을 사용하여 에이전트 성능을 LLM 변동성으로부터 분리하여 보다 신뢰할 수 있는 비교 기반을 마련했다.
- Agentic AI의 세 가지 운영 차원:
* 에이전트 밀도 기반 계획: 총 에이전트 수보다는 가용 컴퓨팅 리소스로 정규화된 에이전트 밀도(vCPU당 에이전트 수)를 기준으로 계획해야 하며, 이는 인스턴스 크기와 프로세서 세대에 걸쳐 용량을 비교하는 이식 가능한 방법을 제공하고 비즈니스 목표에 따라 밀도를 조정할 수 있다.
* 새로운 형태의 가시성 요구: 평균 CPU 사용률은 Agentic AI 워크로드에 대한 약한 성능 모니터링 신호이며, 작업 지연 시간(P95)이 더 나은 선행 지표로, 워크플로우가 지연되기 시작하는 시점을 보여주며, P95 지연 시간에 대한 경고 후 지속된 작업 시간을 검토하여 문제를 확인하는 것이 실용적인 운영 모델이다.
* 기본값은 Scale-out: Scale-out은 총 에이전트 용량을 증가시키고, Scale-up은 단일 시스템에 코어 또는 메모리를 추가하며, Agentic AI 테스트 결과, Scale-out이 일반적으로 더 나은 기본값이며, 이는 에이전트의 독립성, 성능 향상, 고가용성 지원, 비용 절감, 플랫폼 성장에 따른 에이전트 밀도 비율 유지 용이성과 관련이 있다.
- 비즈니스 영향 고려: Agentic AI는 이미 규정된 규칙과 측정 가능한 서비스 수준을 가진 워크플로우(코드 생성, 회귀 테스트 팜, 티켓 분류, 시장 분석, 보안 검토 등)를 자동화하는 데 먼저 비즈니스 가치를 창출할 것이며, 생산성 향상, 비용 관리, 제어 유지, 파일럿에서 프로덕션으로의 자신감 있는 전환을 위한 견고한 기반이 성공의 핵심이다.

시사점

Agentic AI는 단순한 기술 혁신을 넘어 기업의 생산성을 향상시키고, 비용을 관리하며, 거버넌스를 강화하고, 실제 비즈니스 작업을 자동화하여 경쟁 우위를 확보할 수 있는 핵심 요소로 자리 잡고 있으며, 따라서 기업은 Agentic AI를 성공적으로 도입하고 활용하기 위한 올바른 시스템 설계, 측정 지표, 운영 모델 및 비즈니스 가치 연계를 최우선으로 고려해야 한다.