AI Red Teaming in 2026: The Frameworks and Tools That Matter

개요

2026년 AI 레드팀은 MITRE ATLAS, OWASP Top 10 for LLM Applications와 같은 분류 체계와 garak, PyRIT, promptfoo, Adversarial Robustness Toolbox와 같은 도구를 활용하여 AI 모델의 취약점을 식별하고 관리합니다.

주요 내용

* 분류 체계:
* MITRE ATLAS는 LLM 프롬프트 인젝션, LLM 제이크브레이크, LLM 시스템 프롬프트 추출, LLM 데이터 유출, AI 추론 API를 통한 데이터 반출, AI 에이전트 도구 호출과 같은 공격 기법을 식별합니다.
* OWASP Top 10 for LLM Applications는 애플리케이션 보안 관점에서 LLM 관련 위험을 다룹니다.
* 분류 체계는 "챗봇이 오작동했다"는 것을 방어자가 라우팅하고 수정할 수 있는 구체적인 내용으로 전환하는 데 중요합니다.
* 도구:
* garak: 로컬 모델에 대한 첫 번째 스캔에 적합한 스캐너로, 분류 체계와 일치하는 프로브를 제공합니다. API 비용을 절감하고 남용 탐지를 피하기 위해 로컬 모델에 먼저 실행하는 것이 좋습니다.
* PyRIT: 스캐너에서 발생하는 다중 턴 대화, 상태를 가지는 공격, 사용자 정의 점수 로직을 처리하는 오케스트레이션 라이브러리입니다.
* promptfoo: CI/CD 환경에 통합하여 YAML 파일에 정의된 주장(assertion)을 기반으로 빌드를 실패시킬 수 있는 도구입니다.
* Adversarial Robustness Toolbox: 분류기 모델에 대한 회피 및 포이즈닝 공격을 구현하며, scikit-learn, PyTorch, TensorFlow 모델과 직접 연동됩니다.
* 버전 관리: 프로브 세트 변경으로 인한 결과 왜곡을 방지하기 위해 도구 및 모델 버전을 고정하고 원시 출력을 저장하는 것이 중요합니다.
* 거버넌스 문서: NIST AI Risk Management Framework (AI 100-1) 및 Generative AI Profile (NIST AI 600-1), ISO/IEC 42001과 같은 문서는 테스트 자체보다는 테스트가 프로그램의 일부임을 보여주는 데 활용됩니다.
* 미해결 과제: 2026년에도 AI 레드팀의 주요 과제는 탐지된 취약점의 심각성을 평가할 수 있는 표준화된 방법론(예: CVSS)이 부족하다는 점입니다. 특히 에이전트의 동작이나 도구 호출과 같이 복잡한 시나리오에 대한 테스트는 여전히 수동적인 접근 방식에 의존하는 경우가 많습니다.

시사점

AI 레드팀은 분류 체계와 도구를 조합하여 AI 시스템의 취약점을 체계적으로 식별하고, 거버넌스 문서를 통해 테스트 결과를 관리 프로그램의 일부로 제시함으로써 AI 보안 강화에 기여할 수 있습니다.