Why AI Agents can’t judge themselves

개요

AI 에이전트는 외부 검증 기준이 없을 때 자신의 결과물 품질을 과대평가하는 경향이 있으며, 특히 주관적인 작업에서는 단순한 "성찰"만으로는 충분한 개선을 이끌어내기 어렵습니다.

주요 내용

* 주관적 작업에서의 자기 평가 한계: 디자인, 글쓰기, UX, 네이밍, 전략 등과 같이 명확한 검증 기준이 없는 작업에서 AI 에이전트는 스스로 생성한 결과물을 실제보다 더 좋다고 평가하는 경향이 있습니다. 이는 에이전트가 동일한 확률적 궤적 내에서 계속 추론하며, 결과물의 방향성 자체를 근본적으로 비판하기보다 이미 생성된 것을 개선하는 데 집중하기 때문입니다.
* 외부 오라클 유무에 따른 작업 분류:
* 외부 오라클이 있는 작업: 코드 컴파일, 테스트 스위트 통과, 형식적 제약 충족 등 객관적으로 품질을 검증할 수 있는 작업에서는 오류를 명확히 인지할 수 있습니다.
* 외부 오라클이 없는 작업: 시각적 영감, 명확한 주제 의식, 실행 가능성, 기억에 남는 이름 등 품질이 주관적이거나 다차원적이고 맥락에 의존하는 작업에서는 AI 에이전트의 자기 평가가 취약해집니다.
* 조기 수렴(Premature Convergence) 실패 모드: AI 에이전트는 종종 그럴듯한 첫 번째 결과물을 내놓고 피상적으로 개선한 뒤 이를 충분하다고 선언합니다. 이는 반드시 틀린 것은 아니지만, 실제로는 평범하지만 방어 가능한 수준에 머무르게 하며, 이러한 "그럴듯한 평범함"은 탐지하기 어렵습니다.
* 성찰적 프롬프트(Reflective Prompting)의 한계: 모델에게 자신의 결과물을 비판하고 개선하도록 지시하는 성찰적 프롬프트는 명백한 오류를 제거하거나 명확성을 개선하는 데 도움이 될 수 있지만, 생성 과정과 동일한 프로세스 내에서 이루어지므로 근본적인 방향 전환을 이끌어내기에는 한계가 있습니다.
* 런타임(Runtime) 설계의 중요성: 에이전트 시스템의 성능은 모델 자체뿐만 아니라 모델이 작동하는 운영 환경, 즉 프롬프트 구성, 도구 가용성, 컨텍스트 관리, 테스트 실행, 피드백 오케스트레이션 방식 등에 의해 결정됩니다. 모델이 스스로를 평가하는 데 어려움을 겪는 경우, 더 나은 모델을 기다리기보다 런타임을 설계하여 평가 프로세스의 취약성을 줄이는 것이 중요합니다.
* 아키텍처적 요구사항으로서의 비판적 거리(Critical Distance): 생성과 평가의 거리가 너무 가깝기 때문에, 프롬프트 변경, 다른 모델 사용, 엄격한 루브릭 적용, 별도의 에이전트 활용 등 시스템이 결과물을 생성하는 주체와 승인하는 주체를 분리하여 비판적 거리를 확보해야 합니다. 이는 생성-평가자(generator-evaluator) 패턴과 같이, 한 에이전트가 생성하고 다른 에이전트가 평가하며 피드백을 주고받는 방식으로 구현될 수 있습니다.

시사점

AI 에이전트의 신뢰할 수 있는 평가 및 개선을 위해서는 외부 검증 기준을 도입하거나 생성과 평가 프로세스 간의 아키텍처적 분리를 통해 비판적 거리를 확보하는 것이 중요하며, 이는 특히 주관적이고 고부가가치 작업에서 효과적입니다.