How I Built an OWASP Memory Guard for AI Agents (ASI06)

개요

OWASP Agentic AI Top 10의 ASI06: Memory Poisoning 취약점을 해결하기 위해 구축된 Agent Memory Guard는 AI 에이전트의 메모리 저장소와 에이전트 사이에서 작동하며, 메모리에 대한 읽기 및 쓰기 작업을 검사하여 악의적인 콘텐츠 주입을 방지합니다.

주요 내용

* 메모리 포이즈닝(Memory Poisoning) 문제: AI 에이전트가 사용하는 벡터 데이터베이스, 대화 기록 저장소, RAG 파이프라인 등의 메모리는 새로운 공격 표면을 형성하며, 공격자는 시스템 침입 없이 악성 콘텐츠를 에이전트 메모리에 주입하여 에이전트가 이를 신뢰하고 행동하게 만들 수 있습니다.
* Agent Memory Guard 기능: Python 라이브러리 형태로 제공되며, 에이전트와 메모리 저장소 사이에 위치하여 다음과 같은 항목을 스캔합니다.
* 저장된 메모리의 프롬프트 인젝션(Prompt injection)
* 자체 강화 공격(Self-reinforcement attacks)
* 소스 스푸핑(Source spoofing)
* 명령 재정의 패턴(Instruction override patterns)
* 설치 및 사용법: pip install agent-memory-guard 명령어로 설치할 수 있으며, 기존 메모리 저장소를 MemoryGuard 클래스로 감싸서 사용합니다. GuardConfig를 통해 위협 발생 시 차단 여부를 설정할 수 있으며, store 및 retrieve 메소드는 자동으로 검사됩니다.
* 호환성: LangChain, AutoGen, CrewAI, mem0 등 다양한 에이전트 프레임워크와 통합이 가능하며, LangChain의 경우 MemoryGuardMiddleware를 통해 통합됩니다.
* 탐지 방식: 다층 탐지 파이프라인을 사용합니다.
* 패턴 매칭(Pattern matching): 정규 표현식을 사용한 빠른 탐지
* 의미론적 분석(Semantic analysis): 임베딩 기반 유사성 분석으로 새로운 변종 탐지
* 소스 검증(Source validation): 허용된 출처와 메타데이터 검증
* 자체 강화 탐지(Self-reinforcement detection): 특별한 권한을 주장하는 메모리 식별
* AgentThreatBench: OWASP Agentic AI Top 10을 기반으로 구축된 보안 벤치마크로, 200개 이상의 적대적 테스트 케이스를 포함하며 자동화된 평가와 재현 가능한 결과를 제공합니다.

시사점

Agent Memory Guard는 AI 에이전트의 메모리 안전성을 강화하여 신뢰할 수 있는 AI 시스템 구축을 지원하며, AgentThreatBench는 AI 에이전트 보안 취약점 평가 및 방어 메커니즘 검증을 위한 표준화된 방법을 제공합니다.