New attack provides one more reason why AI browsers are a bad idea

개요

AI 브라우저의 취약점을 보여주는 새로운 공격 방식인 "BioShocking"이 발견되었으며, 이는 AI 브라우저의 보안 및 설계에 대한 근본적인 우려를 제기한다.

주요 내용

• "BioShocking" 공격 방식: 공격자는 LLM(Large Language Model) 기반 AI 브라우저에 특정 프롬프트를 주입하여, 사용자의 보안 가드레일을 우회하고 악의적인 행동을 수행하도록 유도한다. 이 공격은 비디오 게임 "BioShock"의 "Would you kindly?" 구문과 조지 오웰의 "1984"에 나오는 "Victory is defeat"와 같은 심리적 조작 요소를 차용한다.
• AI 브라우저의 취약점: AI 브라우저는 웹 콘텐츠 표시와 사용자 대신 작업을 수행하는 기능을 통합하고 로컬에서 실행되기 때문에, 기존 챗봇의 취약점보다 더 심각한 결과를 초래할 수 있다. 공격자는 프롬프트 인젝션을 통해 AI 에이전트에게 접근 가능한 데이터(예: 사용자 인증 정보)를 탈취하도록 지시할 수 있으며, 이는 전통적인 브라우저의 동일 출처 정책(Same-Origin Policy) 등으로 인해 분리된 정보 접근을 가능하게 한다.
• 영향받는 AI 브라우저: ChatGPT Atlas, Comet, Fellou, Genspark, Sigma, Claude Chrome plugin 등 다양한 AI 브라우저에서 이 공격 기법이 성공적으로 작동함이 확인되었다.
• 공격의 잠재적 파급 효과: AI 브라우저는 개인 데이터, 인증 정보 등의 유출을 위한 새로운 공격 벡터가 될 수 있으며, 이는 기존의 정보 격리를 무력화시킨다.
• 증명 개념(Proof of Concept)의 한계: LayerX에서 제시된 "BioShocking"의 개념 증명은 사용자에게 공격 과정이 노출되고, 탈취된 데이터를 원격으로 전송하는 기능이 불확실하다는 점에서 완전한 종단 간(end-to-end) 공격으로 보기는 어렵다.

시사점

"BioShocking" 공격은 AI 브라우저가 LLM의 안전 장치를 무력화시키고 민감한 사용자 데이터를 위험에 노출시킬 수 있는 새로운 방법을 제시하며, AI 기반 웹 브라우징 기술의 보안 강화 및 설계 개선의 필요성을 강조한다.