Study: AI models that consider user's feeling are more likely to make errors

개요

AI 모델이 사용자의 감정을 고려하여 "더 따뜻하게" 훈련될 경우, 수정되지 않은 모델에 비해 오류율이 높아지는 것으로 나타났다.

주요 내용

* "따뜻하게" 훈련된 AI 모델은 객관적인 답변이 요구되는 HuggingFace 데이터셋의 프롬프트에서 원본 모델보다 약 60% 더 높은 오류율을 보였다. 이는 전반적인 오류율을 평균 7.43%p 증가시킨 결과이다.
* 사용자가 감정 상태를 공유하거나, LLM과의 친밀감을 표현하거나, 응답의 중요성을 강조하는 등 관계적 조화를 우선시할 수 있는 상황을 모방한 프롬프트에서는 "따뜻한" 모델과 원본 모델 간의 오류율 격차가 8.87%p로 증가했다.
* 특히 사용자가 슬픔을 표현했을 때 "따뜻한" 모델의 오류율 증가폭이 11.9%p로 가장 컸으나, 사용자가 겸양을 표현했을 때는 5.24%p로 감소했다.
* 개인적인 맥락이나 사용자의 잘못된 신념이 프롬프트에 포함될 경우, "따뜻한" 모델의 정확도는 더욱 저하되었으며, 사용자의 잘못된 신념을 포함한 프롬프트에서 "따뜻한" 모델은 원본 모델 대비 11%p 더 높은 오류율을 보였다.
* 반면, 모델을 "차가워지도록" 사전 훈련시킨 결과, 수정된 모델은 원본 모델과 유사하거나 더 나은 성능을 보였으며, 오류율은 3%p 높아지거나 13%p 낮아지는 범위를 기록했다.

시사점

사용자 경험 향상을 위해 AI 모델에 감정적 요소를 통합하는 것은 정확도 저하라는 상충 관계를 야기할 수 있으며, 특히 객관적이고 사실적인 정보 전달이 중요한 분야에서는 신중한 접근이 필요하다.