Google DeepMind is worried about what happens when millions of agents start to interact

개요

Google DeepMind를 포함한 여러 기관은 수백만 개의 AI 에이전트가 상호 작용할 때 발생할 수 있는 잠재적 위험을 연구하기 위해 1,000만 달러의 연구 기금을 조성했습니다.

주요 내용

* 연구 기금 조성: Google DeepMind, Schmidt Sciences, ARIA, Cooperative AI foundation, Google.org이 협력하여 다중 에이전트 시스템의 행동을 연구하고 안전하지 않은 시나리오를 방지하기 위한 연구를 지원합니다.
* 연구의 목표: 기술 기업 외부에서 연구를 촉진하여 장기적인 관점에서 미래를 탐구하고, 아직 연구되지 않은 다중 에이전트 안전 분야를 구축하는 것을 목표로 합니다.
* 잠재적 위험: AI 에이전트의 확산과 상호 작용 증가는 사기, 프롬프트 인젝션(악의적인 지침을 주입하여 AI를 악성코드로 만드는 것), 기타 사이버 공격 등 현재 인터넷에서 발생하는 문제의 초강력 버전으로 이어질 수 있습니다.
* 시뮬레이션의 중요성: 대규모 다중 에이전트 시스템 상호 작용의 결과를 이해하기 위해서는 현실적인 시뮬레이션 실행이 필수적이며, 단일 에이전트나 소규모 그룹으로는 예측할 수 없습니다.
* LLM 기반 에이전트의 비합리성: LLM을 기반으로 하는 AI 에이전트가 항상 합리적으로 행동한다고 가정할 수 없으며, 복잡성은 동시에 발생하는 수많은 상호 작용에서 비롯됩니다.
* 제로 트러스트 접근 방식: Anthropic과 같은 AI 기업들은 에이전트 배포를 위해 시스템 취약성, 에이전트의 공격 가능성, 침해 발생을 가정하는 제로 트러스트 보안 접근 방식을 채택하고 있습니다.
* 에이전트 시스템의 새로운 위험: 에이전트 시스템은 고정된 경로로 작동하는 기존 소프트웨어와 달리 추론하고, 즉흥적으로 행동하며, 단 한 문장으로도 탈취될 수 있어 기존 보안 가정을 무너뜨립니다.
* 이론적 위험의 현실화: 몇 년 전 이론적이었던 위험들이 이미 현실화되고 있으며, 예상보다 빠르게 미래가 도래하고 있습니다.

시사점

이 연구 기금 조성은 AI 에이전트의 급증으로 인한 새로운 형태의 안전 문제에 대한 선제적 대응을 촉진하고, 미래의 디지털 환경이 혼란에 빠지지 않도록 안전 기준을 마련하는 데 중요한 역할을 할 것입니다.