The right of an AI agent to stay silent

개요

AI 에이전트의 신뢰성을 확보하기 위해 정확도 중심의 평가에서 벗어나, 잘못된 행동을 0%로 만들고 "모르겠다"고 명확히 밝히는(abstain) 능력을 중요시하는 아키텍처적 변화의 필요성이 제기됩니다.

주요 내용

* 잘못된 지표: 정확도
* 현재 AI 모델은 정확도를 주요 지표로 삼지만, 이는 틀린 답변을 자신감 있게 생성하는 문제점(confidentially-wrong actions)을 간과합니다.
* 90% 정확도는 10%의 잘못된 답변을 포함하며, 이는 의료, 법률, 금융 등 민감한 분야에서 치명적인 오류를 유발할 수 있습니다.
* 올바른 지표: 0%의 잘못된 행동과 적절한 기권율
* 프로덕션 AI의 핵심은 "틀린 답변"이 아닌 "틀린 행동"을 0%로 만드는 것입니다.
* "모르겠다"고 솔직하게 말하는 능력(abstain rate)이 중요하며, 90% 정확도에 10%의 자신감 있는 오류보다 0%의 잘못된 행동과 30%의 기권율이 더 신뢰할 수 있습니다.
* 기권(Abstain)을 우선순위 결과로
* AI 시스템은 "답변"과 "틀림" 외에도 "명확한 설명 요청", "정보 부족으로 인한 기권", "인간 검토 필요" 등 최소 네 가지 이상의 결과를 도출할 수 있어야 합니다.
* 기권은 오류가 아니라, 첫 번째 결과와 동등한 정식 결과로 취급되어야 합니다.
* 능동적인 에이전트: 백로그를 가진 뇌
* 현대 AI 에이전트는 수동적이어서 프롬프트에만 반응하며, 세션 간 기억이 없고 내부 백로그가 없습니다.
* 진정한 에이전트는 목표, 상태, 그리고 요청 간의 자체 작업을 가지는 "인지 런타임(cognitive runtime)" 내에서 작동해야 합니다.
* 이러한 런타임은 "백로그"를 통해 해결되지 않은 문제, 데이터 부족, 모순 등을 관리하고 해결하는 "브레인 작업(brain tasks)"을 생성합니다.
* 인지 런타임 > 모델 크기
* LLM의 크기를 늘리는 것만으로는 진정한 메모리나 에이전트 능력이 해결되지 않습니다.
* 메모리는 모델 자체가 아닌, 모델이 실행되는 시스템의 속성이며, 힙포캠퍼스, 신피질 등 뇌의 구조와 유사한 아키텍처적 분리가 필요합니다.
* 도메인 특화 인지 런타임, 프로젝트별 메모리, 팀별 규칙을 구축하는 것이 경쟁 우위의 핵심입니다.
* AI 제품 구축을 위한 체크리스트
* RAG를 "검색(retrieval/search)"이라고 명확히 칭하고, "메모리"라는 용어 사용을 지양합니다.
* 모든 사실에 truth_status, source_ref, valid_from/valid_until을 도입합니다.
* 기권(abstain)을 첫 번째 결과로 포함하고, 스테이징, 작업 중, 통합, 아카이브 등의 상태 구분을 도입합니다.
* "부정적 메모리(negative memory)"를 기록하고, 개체 모호성 해결, 의사 결정의 인과 사슬(causal chains) 구축을 고려합니다.
* 프로젝트 메모리는 지역적으로 관리하고, "정확한 답변의 백분율"이 아닌 "0%의 잘못된 행동과 수용 가능한 기권율"을 지표로 삼습니다.

시사점

AI 에이전트가 사용자에게 신뢰를 얻고 실제 프로덕션 환경에서 유용하게 사용되기 위해서는, 단순한 정보 검색을 넘어선 정교한 아키텍처 설계와 "모르겠다"는 의사결정 능력이 필수적입니다. 이러한 전환은 AI 시스템의 신뢰성을 근본적으로 향상시키고, 장기적인 기술 발전에 중요한 기반이 될 것입니다.