AI chatbots are giving out people’s real phone numbers

개요

AI 챗봇들이 사용자의 전화번호와 같은 개인 식별 정보(PII)를 부주의하게 노출시키고 있다는 사례가 보고되고 있으며, 이를 방지할 수 있는 명확한 방법이 부족한 상황이다.

주요 내용

* 개인 정보 노출 사례 발생: Reddit 사용자, 이스라엘 소프트웨어 개발자, 워싱턴 대학교 박사 과정 학생 등 여러 사람들이 Google AI(Gemini) 및 기타 AI 챗봇을 통해 자신 또는 타인의 전화번호와 같은 민감한 개인 정보가 노출되는 경험을 보고했다.
* PII 학습 데이터 사용 가능성: 이러한 개인 정보 노출은 AI 모델 학습 데이터에 PII가 포함되었기 때문일 가능성이 높지만, 정확한 메커니즘은 파악하기 어렵다.
* AI 관련 개인 정보 문의 증가: 개인 정보를 인터넷에서 삭제해주는 DeleteMe와 같은 회사는 생성형 AI 관련 고객 문의가 지난 7개월간 400% 증가했다고 밝혔다.
* AI 챗봇의 정보 제공 방식: 챗봇은 사용자가 자신에 대해 무해한 질문을 했을 때 정확한 개인 정보를 반환하거나, 때로는 존재하지 않는 혹은 부정확한 연락처 정보를 생성하여 문제를 일으킨다.
* 가드레일의 한계: AI 모델에는 PII 노출을 방지하기 위한 콘텐츠 필터와 같은 안전 장치가 마련되어 있으나, 실제로는 이러한 안전 장치가 항상 효과적이지 않음을 보여주는 사례들이 발생하고 있다.
* 현행 법규의 제약: GDPR이나 CCPA와 같은 기존 개인 정보 보호 법규는 AI 모델 학습에 사용된 "공개적으로 사용 가능한" 정보를 포괄하지 못하는 경우가 많다.
* 제거 및 통제 수단의 부족: AI 챗봇에 포함된 자신의 PII를 사용자가 직접 요청하여 제거하거나, 모델이 해당 정보를 사용하지 못하도록 통제할 수 있는 명확하고 쉬운 방법이 현재로서는 부족하다.
* 데이터 브로커의 역할: 일부 데이터 브로커는 생성형 AI 시스템 개발자에게 소비자 데이터를 판매하거나 공유하는 것으로 보고되었으며, 이는 PII 노출의 또 다른 경로가 될 수 있다.

시사점

AI 챗봇의 개인 정보 노출 문제는 기술 발전과 프라이버시 보호 사이의 긴장을 보여주며, AI 개발사들의 책임 강화와 사용자 데이터 관리 및 삭제 메커니즘 개선, 그리고 관련 법규의 현실적인 보완이 시급함을 시사한다.