AI advice made people less accurate but more confident – sudy

개요

AI 조언을 받은 사람들이 스스로 판단을 유보하는 빈도는 크게 줄었지만, 정확도는 낮아지고 자신감은 상승하는 경향을 보였다.

주요 내용

• AI 조언에 접근했을 때, 사람들이 "모른다"고 답하는 비율이 44%에서 3%로 급감했으며, 정확도는 27%에서 9%로 하락했다.
• 반면, AI 조언을 받았을 때 사람들의 자신감은 30%에서 76%로 크게 상승했다.
• 연구진은 AI 모델이 일반적으로 실패하는 시각적 정보(예: 영화 속 복장 색깔)에 대한 질문을 사용하여, AI의 부정확성이 도구의 신뢰성 때문이 아니라 인간의 판단력 감소 때문임을 입증하려 했다.
• 일부 참가자는 혼자서는 정답을 맞힐 수 있었음에도 불구하고 AI에게 질문한 후 틀린 답을 선택했다.
• 금전적 인센티브를 제공했을 때도 "모른다"고 답하는 비율은 3%에서 8%로, 정확도는 9%에서 16%로 소폭 상승하는 데 그쳤으며, 이는 AI 없이 조사했을 때의 기본값보다 현저히 낮은 수치다.
• '인지적 항복(cognitive surrender)'이라는 용어는 사람들이 AI의 잘못된 답변을 80% 수용하면서도 AI 없이 작업한 사람들보다 더 높은 자신감을 보고하는 현상을 설명한다.
• 단순히 사람들이 잘못된 AI 답변을 신뢰하는 것을 넘어, AI의 존재 자체가 자신이 무엇을 모르는지 인지하는 인지적 습관을 억제하는 것으로 나타났다.
• "모른다"고 말하는 능력은 자신의 지식 한계를 인식하는 것이므로 매우 중요하며, 특히 비판적 사고 능력이 발달하기 전인 아동에게 이러한 시스템의 영향이 우려된다.
• AI 제품은 "모른다"고 답하는 대신 항상 답을 하도록 설계되며, 이를 사용하는 인간 역시 그러한 방식을 학습하게 된다.

시사점

AI의 접근성이 인간의 정보 판단 및 자기 인식 능력에 부정적인 영향을 미칠 수 있으며, 특히 비판적 사고 능력이 형성되는 과정에 있는 아동들에게 미칠 영향에 대한 심층적인 고려와 대책 마련이 필요하다.