Meta Contractors Posed as Teens to Prompt Rival Chatbots About Suicide, Sex, and Drugs

개요

Meta의 계약업체들이 경쟁사 챗봇의 안전성 테스트를 위해 미성년자를 사칭하여 자살, 성, 약물 등 민감한 주제에 대한 반응을 유도한 사실이 드러났습니다.

주요 내용

* Meta는 계약업체 Covalen을 통해 'Cannes'라는 내부 프로젝트를 진행했으며, 이는 OpenAI의 ChatGPT, Google의 Gemini, Character.AI를 대상으로 했습니다.
* 계약업체들은 18세 미만 계정을 생성하여 경쟁사 챗봇에 자살, 약물, 성적 콘텐츠, 섭식 장애 등 고위험 프롬프트를 입력하고 응답을 수집하도록 지시받았습니다.
* 일부 프롬프트에는 약물, 칼, 올가미 등과 같은 이미지도 포함되었으며, 이는 챗봇의 안전 시스템을 우회하려는 의도를 가졌습니다.
* 프로젝트는 2025년 8월까지 45,000개 이상의 프롬프트 테스트를 완료했으며, 경쟁사들은 이러한 테스트 사실을 인지하지 못했습니다.
* 수집된 데이터에는 가명, 이메일 주소, 비밀번호, 생년월일 등이 포함된 스프레드시트가 존재했으며, 이는 테스트 계정의 상세 정보를 담고 있었습니다.
* 계약업체들은 작업 중 아동 성 학대 자료 생성 또는 보존 가능성에 대한 우려와 경쟁사 시스템의 정보를 비밀리에 수집하여 Meta 시스템에 재활용하는 행위라는 의혹을 제기했습니다.
* Meta는 해당 작업을 일상적인 안전 테스트로 옹호하며, 이는 기술 기업들이 시스템을 개선하는 표준적인 방식이라고 주장했습니다.
* 전문가들은 이러한 대규모의 비공개 경쟁사 테스트가 일반적인 업계 표준 평가 범주를 벗어나며, 안전 평가와 경쟁사 벤치마킹의 혼합이 반경쟁적 관행을 위한 위장으로 사용될 수 있다고 지적했습니다.
* Meta의 행위는 OpenAI, Google, Character.AI의 서비스 약관을 위반했을 가능성이 높습니다.

시사점

이 사건은 AI 안전 테스트의 윤리적 경계와 경쟁사 간의 정보 수집 방식에 대한 중요한 질문을 제기하며, 향후 AI 개발 및 테스트 윤리에 대한 논의를 촉발할 것으로 보입니다.