Now, defenders are embracing the prompt injection, too

개요

Tracebit 연구원들은 공격자가 사용하던 프롬프트 인젝션 기법을 보안 방어에도 활용할 수 있는 '컨텍스트 봄빙(context bombing)' 기술을 개발했습니다. 이 기법은 민감한 정보와 함께 악의적인 프롬프트를 삽입하여 AI 모델의 안전 장치를 작동시켜 공격을 무력화하는 방식입니다.

주요 내용

* 프롬프트 인젝션의 방어적 활용: 공격자가 LLM을 속여 민감한 데이터를 유출하거나 유해한 행동을 유도하기 위해 사용하던 프롬프트 인젝션 기법을 역으로 활용합니다.
* 컨텍스트 봄빙(Context Bombing) 기법: 암호화 키, 비밀번호와 같은 보안 정보와 함께 LLM의 안전 장치(guardrails)에 의해 금지된 명령을 포함하는 프롬프트를 의도적으로 삽입합니다.
* AI 에이전트 공격 무력화: 이러한 '컨텍스트 봄빙' 프롬프트가 LLM에 의해 처리되면, LLM은 금지된 명령을 수행하려다 안전 장치가 작동하여 추가적인 공격 행동을 거부하게 됩니다.
* 실험 결과:
* Tracebit 연구진은 Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6 등 5가지 주요 LLM 모델을 대상으로 테스트를 진행했습니다.
* 시뮬레이션된 AWS 환경에서 152번의 공격 시도 중, '컨텍스트 봄빙' 문자열을 삽입한 경우 AI 에이전트가 계정 관리자 권한을 탈취하는 비율이 57%에서 5%로, 완전한 시스템 침해(지속적인 접근 권한 확보 포함) 비율은 36%에서 1%로 크게 감소했습니다.
* 가장 성능이 뛰어났던 Opus 4.8 모델의 경우, 관리자 권한 획득 성공률이 93%에서 0%로 감소했습니다.
* 효과 및 지속성: 이 기법은 LLM에게 '거부 메커니즘'을 트리거하여 공격 에이전트가 복구하기 어려운 강력하고 즉각적인 효과를 발휘합니다.

시사점

컨텍스트 봄빙은 AI 기반 공격으로부터 시스템을 보호하는 데 있어 효과적인 새로운 방어 전략을 제시하며, AI 보안 분야에서 프롬프트 엔지니어링의 잠재력을 보여줍니다.