LLM Security on Kubernetes: Why Standard K8s Security Controls Are Not Enough for AI Agents

개요

LLM 에이전트는 Kubernetes의 기존 보안 통제로는 방어하기 어려운 새로운 공격 벡터를 야기하며, 이에 대한 맞춤형 보안 아키텍처 구축이 시급하다.

주요 내용

* Kubernetes 보안의 근본적 한계: RBAC, NetworkPolicies, Pod Security Admission 등 Kubernetes의 전통적인 보안 기능은 마이크로서비스 위협 모델에 맞춰 설계되었으나, 프롬프트 인젝션, 모델 가중치 유출, 공급망 중독과 같은 LLM 에이전트 고유의 공격 벡터를 탐지하거나 방어하는 데 한계가 있다. NetworkPolicies는 IP 수준 트래픽만 통제하며 HTTP 요청 본문의 프롬프트 인젝션을 검사하지 못하고, RBAC는 서비스 계정의 API 호출 권한은 제어할 수 있으나 합법적인 요청과 악의적인 요청을 구분하지 못한다.
* LLM 공급망 및 모델 가중치 유출: Kubernetes의 공급망 보안은 컨테이너 이미지 서명에 집중되어 모델 아티팩트 계층을 간과한다. 악성 pickle 형식 모델 파일은 역직렬화 시 원격 코드 실행을 유발할 수 있으나, 기존 컨테이너 이미지 스캔 도구는 이를 탐지하지 못한다. OpenSSF Model Signing 및 Model Transparency 이니셔티브는 모델 아티팩트 서명을 강화하고 있으며, SPIFFE/SPIRE는 워크로드 ID 연동을 확장하고 있다. 모델 가중치 유출은 고가의 모델로 인해 현실적인 위협이며, AMD SEV-SNP 및 Intel TDX와 같은 기밀 컴퓨팅 기술이 TEE(Trusted Execution Environment) 기반의 파드 실행을 통해 보호 기능을 제공하나, 실제 프로덕션 환경에서의 채택률은 낮은 편이다.
* 새로운 방어 계층의 부상: CNCF 생태계는 LLM 보안 격차를 해소하기 위해 eBPF, 기밀 컴퓨팅, AI Admission Control이라는 세 가지 상호 보완적인 방어 계층을 통합하고 있다. Falco는 GPU 관련 시스템 호출 규칙과 eBPF 프로브를 통해 LLM 추론 파드의 이상 행위를 탐지하며, eBPF는 커널 레벨에서 애플리케이션 계층 LLM 행동을 가시화하는 실험을 진행 중이다. 기밀 컴퓨팅은 모델 가중치 도난에 대한 실질적인 방어 수단으로 자리 잡고 있으며, AKS, GKE, EKS 등에서 채택이 증가하고 있다. AI Admission Control은 LLM별 입력/출력 정책 라이브러리를 갖춘 게이트웨이 및 사이드카 프록시를 통해 알려진 인젝션 패턴을 가진 추론 요청을 모델 서빙 파드에 도달하기 전에 차단하는 패턴으로 구체화되고 있다.

시사점

EU AI Act, NIST AI RMF, 미국 행정명령 14110 등 규제 압박과 LLM 워크로드 확산으로 인해 Kubernetes 보안의 패러다임 전환이 필요하며, 모델 아티팩트의 출처 증명, 런타임 이상 탐지, 기밀 컴퓨팅, AI Admission Control을 통합한 새로운 보안 아키텍처 구축이 필수적이다.