Why Google’s AI can’t spell Google (or anything else)

개요

Google AI Overview가 기본적인 철자 오류를 포함한 부정확한 정보를 생성하면서, LLM(Large Language Model)의 근본적인 한계와 AI 생성 콘텐츠의 신뢰성에 대한 문제가 제기되고 있습니다.

주요 내용

* Google AI Overview의 철자 오류 사례:
* "Google"에 P가 두 개 있다고 답하는 대신, 'p' 두 개를 'P' 두 개로 잘못 표기함.
* "poop"에 'r'이 하나 있다고 답하면서 'r'을 잘못 표기함.
* "journalism"에 'd'가 두 개 있다고 답하며 "j-o-u-r-n-a-d-i-s-m"으로 철자 오류를 보임.
* 미국 대통령의 마지막 이름에 'p'가 하나 있다고 했으나 "t-r-p-u-m"으로 잘못 표기함.
* 이전 AI Overview의 문제점:
* 초기 버전에서 The Onion과 같은 풍자 게시물을 인용하거나, 사람들에게 돌을 먹거나 피자에 풀을 바르라고 조언하는 등 오류를 발생시킨 바 있음.
* "disregard"라는 단어를 검색했을 때, 사전적 정의 대신 "알겠습니다. 새로운 프롬프트나 질문이 있을 때 언제든지 알려주세요!"와 같은 응답을 표시하는 이슈가 있었음.
* LLM의 철자 오류 근본 원인:
* LLM은 언어를 단어와 글자로 이루어진 단위로 인식하는 것이 아니라, 텍스트를 토큰(단어, 음절, 글자 등)으로 분해하는 트랜스포머 모델 기반으로 작동함.
* AI는 텍스트를 인간처럼 "읽는" 것이 아니라, 숫자 표현으로 변환하고 이를 맥락화하여 응답을 생성함.
* "the"와 같은 단어에 대해 하나의 인코딩만 가지며, 개별 글자('T', 'H', 'E')를 독립적으로 인식하지 못함.
* 토큰 기반 아키텍처는 본질적으로 철자 문제 해결에 한계가 있으며, 완벽한 토크나이저의 존재 가능성에 대해 회의적인 시각이 있음.
* AI 연구자들의 입장:
* Google은 철자 오류 문제를 인지하고 수정 중이라고 밝혔으나, 이러한 기본적인 철자 오류는 LLM에게는 해결하기 어려운 과제로 남아있음.
* 철자 능력보다는 코드 생성이나 복잡한 문제 해결 능력 등 LLM의 다른 유용성이 더 중요하게 여겨짐.

시사점

Google AI Overview의 반복되는 오류는 LLM의 작동 방식에 대한 이해를 높이고, AI가 생성하는 정보에 대해 비판적으로 접근하고 사실 확인의 중요성을 인지해야 함을 강조합니다.