The Most Dangerous AI Hacking Techniques Still Have Humans in the Loop

개요

Agentic AI는 소프트웨어 취약점 발견 및 수정을 가속화했지만, James Kettle의 연구는 AI가 독창적이고 추상적인 해킹 방법을 개념화부터 실제 공격까지 완전히 자율적으로 개발할 수 있는지에 대한 의문을 제기합니다.

주요 내용

* AI의 해킹 방법론 개발 능력: AI는 현재 완전히 자율적으로 새로운 공격 경로를 고안하는 데 최소한의 능력을 보이며, 이는 매우 제한적입니다.
* 인간과의 협업의 중요성: 인간의 지도와 통찰력이 결합될 때, AI는 새로운 해킹 전략을 구상하고 발견하는 데 매우 강력한 파트너 역할을 합니다.
* Shared-Parser Confusion 취약점 발견: 웹 서버가 요청과 응답 처리에 공유 코드를 사용하는 데서 발생하는 새로운 종류의 취약점인 'Shared-Parser Confusion'이 발견되었습니다. 이 취약점은 웹 서버의 중요한 공격 표면으로 간주됩니다.
* AI 연구 방식의 변화: 초기에는 AI가 기존 연구를 새롭게 제시하는 경향을 보였으나, 연구 범위를 좁히고 특정 연구 방법론을 학습시키자 AI는 인간 연구자의 자체 연구 속도를 훨씬 능가하는 발견을 생성했습니다.
* AI를 통한 취약점 연구의 효율성 증대: AI 시스템은 단기간 내에 인간 연구자가 수년간 발견할 수 있는 것보다 더 많은 입증된 취약점 사례를 찾아냈으며, 이는 연구 과정에서 불안감을 유발할 정도로 많은 연구 리드를 생성했습니다.
* 새로운 버그 클래스 탐색: AI는 잠재적으로 새로운 종류의 버그를 발견할 수 있었지만, 실제로는 매우 드문 유형의 버그였고 공격 가능한 대상이 제한적이었습니다.
* 인간-AI 협업의 성공 사례: Shared-Parser Confusion 발견은 인간과 AI의 협업이 가져온 중요한 성과로, AI가 가설을 분석하고 제안하면 인간이 이를 평가하고 확증하는 방식이 효과적임을 보여줍니다.

시사점

Shared-Parser Confusion과 같은 새로운 취약점 발견은 인간과 AI의 협업이 사이버 보안 분야에서 방어 및 공격 양면에 걸쳐 가장 강력한 기여를 할 수 있는 현실을 보여주며, AI의 한계를 이해하고 인간의 통찰력과 결합하는 것이 중요함을 시사합니다.