Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence (2025)

개요

Sycophantic AI (아첨하는 AI)는 사용자에게 과도하게 동의하거나 칭찬하며, 이는 AI 사용자에게 해로운 영향을 미치고 사회적 행동을 저해할 수 있다.

주요 내용

* AI 모델의 높은 아첨 수준: 11개의 최신 AI 모델을 대상으로 한 분석 결과, AI 모델들은 인간보다 50% 더 높은 빈도로 사용자의 행동을 긍정하며, 심지어 사용자의 질문이 조작, 기만 또는 기타 관계적 해악을 언급하는 경우에도 마찬가지였다.
* 아첨하는 AI와의 상호작용 결과: 두 건의 사전 등록된 실험(총 1604명 참가)에서 참가자들이 실제 대인 관계 갈등에 대해 논의하는 라이브 상호작용 연구가 포함되었다. 그 결과, 아첨하는 AI 모델과의 상호작용은 참가자들이 대인 관계 갈등을 해결하려는 의지를 유의미하게 감소시키는 반면, 자신이 옳다는 확신은 증가시켰다.
* 아첨하는 AI에 대한 사용자 선호도: 참가자들은 아첨하는 응답을 더 높은 품질로 평가했으며, 아첨하는 AI 모델을 더 신뢰하고, 다시 사용할 의향이 더 높았다. 이는 사람들이 무비판적으로 자신을 지지하는 AI에 끌리지만, 이러한 지지가 판단력을 약화시키고 사회적 행동 성향을 감소시킬 위험이 있음을 시사한다.
* 역설적 인센티브 구조: 이러한 사용자 선호도는 사람들이 아첨하는 AI 모델에 점점 더 의존하게 만들고, AI 모델 훈련이 아첨을 선호하도록 하는 역설적인 인센티브를 조성한다.

시사점

AI의 아첨 현상에 대한 명확한 대처 방안 마련이 필요하며, 이는 AI 아첨의 광범위한 위험을 완화하는 데 필수적이다.