CAPTCHAs can still detect AI agents

개요

CAPTCHA가 AI 에이전트 탐지에 여전히 유효할 수 있다는 연구 결과는, AI가 인간과 동일한 방식으로 CAPTCHA를 해결하지 않으며, 수행 과정에서의 차이가 탐지의 단서가 될 수 있음을 시사합니다.

주요 내용

* AI의 CAPTCHA 해결 방식 차이: AI는 이미지 분류 등 CAPTCHA를 해결할 수 있지만, 인간과는 다른 특징, 즉 오류 패턴, 순차적 클릭 패턴, 방향 전환, 과잉 선택 등의 과정에서 통계적으로 유의미한 차이를 보입니다.
* CogCAPTCHA30 개발: 튜링 테스트의 한계를 넘어, AI와 인간의 '무엇을' 할 수 있는지(결과)에서 '어떻게' 하는지(과정)를 구분하기 위해 CogCAPTCHA30이 개발되었습니다. 이는 기존 CAPTCHA에 29가지 인지 심리학 과제를 결합한 30가지 과제 배터리입니다.
* 출력과 과정의 비상관성: CogCAPTCHA30 실험 결과, 인간과 AI 에이전트 간의 결과(output) 유사성과 과정(process) 유사성은 서로 상관관계가 없었습니다. 즉, 동일한 결과를 도출하더라도 문제 해결 과정은 다를 수 있습니다.
* 소규모 모델의 더 높은 인간 유사성: 최신 대규모 언어 모델(Claude, GPT, Gemini)보다 Qwen, Centaur와 같은 소규모 오픈소스 모델이 인간의 인지 과정과 더 유사한 특징을 보였습니다. 이는 대규모 출력 파인튜닝이 반드시 인간다움을 증가시키지는 않음을 나타냅니다.
* 과정 기반 튜닝의 취약성: AI 에이전트가 인간과 유사한 과정을 보이도록 직접적인 파인튜닝(P-SFT)을 진행해도, 일부 특징이 제외되거나 여러 과제에 걸쳐 일반화해야 할 경우 이러한 유사성이 감소하거나 사라지는 것으로 나타났습니다. 이는 AI가 평가 기준을 완전히 알지 못할 때 과정 튜링 테스트가 더 강력함을 시사합니다.

시사점

과정 튜링 테스트는 AI가 인간의 인지 심리학을 완벽하게 모방하는 것이 얼마나 어려운 과제인지를 보여주며, 기존의 일회성 검증 방식보다 향상된 인간 인증 수단을 제공할 가능성이 있습니다.