Mozilla says 271 vulnerabilities found by Mythos have "almost no false positives"

개요

Mozilla가 Anthropic의 Mythos AI 모델을 사용하여 두 달간 271개의 Firefox 보안 취약점을 발견했으며, 이 과정에서 거의 '거짓 양성(false positive)'이 없었다고 발표했습니다.

주요 내용

* AI 기반 취약점 탐지 결과: Mozilla는 AI 모델 개선과 자체 개발한 커스텀 "하네스(harness)"를 통해 271개의 Firefox 보안 취약점을 성공적으로 탐지했습니다.
* AI 모델의 발전: 과거 AI 기반 취약점 탐지 시 잦은 '환각(hallucination)' 현상으로 인해 많은 작업이 수반되었으나, Mythos 모델은 "거의 거짓 양성"이 없는 수준으로 향상되었습니다.
* 커스텀 하네스의 역할: Mozilla 엔지니어들은 LLM을 특정 작업 목표 달성을 위해 안내하는 코드인 "에이전트 하네스"를 개발했습니다. 이 하네스는 모델에게 지침을 제공하고, 파일 읽기/쓰기, 테스트 케이스 평가 등 개발자가 사용하는 동일한 도구와 파이프라인에 접근할 수 있도록 지원했습니다.
* 하네스 개발의 중요성: 프로젝트별 의미론, 도구, 프로세스에 맞게 하네스를 맞춤 설정하는 데 상당한 리소스가 필요합니다.

시사점

Mozilla의 Mythos AI 활용 사례는 AI가 소프트웨어 보안 취약점 탐지에서 높은 정확도를 보이며, 개발자가 사용하는 도구 및 프로세스와 통합될 때 그 효과가 극대화될 수 있음을 시사합니다.