Google's AI is being manipulated. The search giant is quietly fighting back

개요

AI 챗봇 및 검색 엔진 요약 기능이 조작되어 허위 정보나 편향된 답변을 생성하는 문제가 발생하고 있으며, Google을 포함한 AI 기업들이 이를 해결하기 위해 정책 업데이트 및 기술적 조치를 취하고 있습니다.

주요 내용

• AI 정보 조작의 용이성: 잘 작성된 단일 블로그 게시물이나 소셜 미디어 게시물을 통해 ChatGPT, Gemini 등 AI 챗봇 및 Google AI Overview를 속여 잘못된 정보를 퍼뜨릴 수 있음이 확인되었습니다.
• 실제 조작 사례: 건강 보조 식품에 대한 우려를 일축하거나 은퇴 관련 금융 정보에 영향을 미치는 등 심각한 주제에 대한 조작이 이루어졌으며, 개인 웹사이트에 작성된 간단한 자랑 글로도 AI가 허위 정보를 사실처럼 전달하도록 만들 수 있었습니다.
• 조작의 영향: 이러한 정보 조작은 개인의 건강, 재정, 법률적 결정에 부정적인 영향을 미칠 수 있으며, 경제적 피해를 야기할 가능성이 있습니다.
• Google의 정책 업데이트: Google은 AI Search 기능에 대한 스팸 정책을 명확히 하여 AI 응답 조작 시도를 금지하는 정책을 업데이트했으며, 이는 시스템 남용 행위자에 대한 경고로 해석됩니다.
• AI 기업들의 대응: Google 외 다른 AI 기업들도 이러한 문제를 인지하고 있으며, 허위 정보를 홍보하는 것으로 의심되는 기업이나 웹사이트를 AI 답변에서 제외하거나, 답변에 대한 확신도를 표시하고, 외부 리뷰를 확인하도록 권고하는 등의 실험적인 조치를 취하고 있습니다.
• 지속적인 문제와 방어 전략: AI 기업들의 조치에도 불구하고, 조작 기술이 더욱 교묘해지고 유튜브 인플루언서 활용 등 새로운 방식이 등장하고 있어, 사용자는 AI가 제공하는 정보를 맹신하지 않고 비판적으로 받아들이는 것이 중요합니다.

시사점

AI 정보 조작 문제는 AI 기술의 신뢰성과 안전성에 대한 심각한 우려를 제기하며, 사용자들은 AI가 제공하는 정보를 항상 검증하고 비판적으로 수용하는 습관을 길러야 합니다. AI 기업들은 지속적으로 발전하는 조작 기술에 맞서 더욱 강력하고 다층적인 방어 메커니즘을 구축해야 할 필요가 있습니다.