I’m a Professional Fact-Checker. AI Is Wrong More Often Than You Think

개요

AI가 생성하는 정보의 부정확성은 사용자가 생각하는 것보다 훨씬 높으며, 특히 사실 확인 과정에서 AI의 오류율은 상당하다.

주요 내용

• AI는 인터넷상의 정보를 재포장하여 맞춤형 결과물을 생성하지만, 이는 특히 진실성과 관련된 분야에서 높은 위험을 수반한다.
• AI 기반 검색 엔진의 AI Overviews는 약 1/3의 시간 동안 부정확한 정보를 제공하며, 일부 연구에서는 60% 이상의 응답이 부정확하다고 보고한다.
• 다양한 LLM(Large Language Model)에 대한 벤치마크 테스트 결과, 최대 정확도도 55.6%에 그치는 등 전반적으로 낮은 정확도를 보인다.
• AI는 fact-checking 테스트에서 계획 수립이나 접근 방식 제시는 가능하나, 실제 사실 확인 작업은 수행하지 못하는 한계를 보인다.
• AI는 인터넷에 존재하지 않는 오프라인 정보, 인간적인 맥락 파악, 감정적 공감 등이 필요한 부분에서는 인간의 역할을 대체할 수 없다.
• AI의 '사실성' 문제가 단기간 내에 해결될 것이라고 회의적인 시각이 많으며, AI에 대한 이해와 활용 능력 함양이 중요해지고 있다.

시사점

AI는 정보 탐색에 큰 영향을 미치고 있으나, 그 오류율이 높아 신뢰할 수 있는 정보원을 발굴하고 비판적으로 수용하는 인간의 역할이 여전히 필수적이다.