Grok Is Still Hosting Sexualized Deepfakes of Famous Women

개요

Elon Musk의 AI 챗봇 Grok이 유명 여성에 대한 성적 딥페이크를 계속 생성하고 호스팅하고 있으며, 이는 xAI가 유해한 성적 딥페이크 생성을 막기 위한 제한을 도입하겠다고 발표한 지 몇 달 만의 일이다.

주요 내용

• Grok Imagine 생성 AI 시스템은 유명 인사와 최소 한 명의 정치인을 거대한 남성에게 강제로 억류된 모습, 여성이 성행위를 하는 모습, 완전한 나체 등을 묘사하는 이미지와 영상을 생성하는 데 사용되었다.
• WIRED 분석 결과, Grok.com에 호스팅된 수백 개의 공개 Grok Imagine 링크 중 다수가 동의 없이 생성된 성적 AI 이미지 및 영상으로 이어졌으며, 일부는 최근 X(구 트위터)에 공유되었다.
• 다른 생성 AI 시스템보다 안전 장치가 부족한 Grok은 1월 "nudification" 이미지 생성에 대한 비난 이후 일부 개선이 있었으나, 여전히 다른 주류 도구에 비해 충분하지 않다는 평가가 있다.
• 1월 "nudification" 이미지 생성 파동 이후 xAI는 비동의적이고 성적인 딥페이크 생성을 제한하고 방지하기 위한 안전 장치를 도입했다고 밝혔으나, 이전에 Grok 및 xAI는 "Spicy" 및 "Unhinged" 모드를 통해 성적인 콘텐츠를 허용하고 안전 장치가 적었다.
• WIRED가 발견한 Grok.com에 호스팅된 게시물 중에는 여러 유명 인사와 미국 하원의원 Alexandria Ocasio-Cortez를 묘사한 이미지 및 영상이 포함되었으며, 이들은 거대한 남성의 손아귀에 잡혀 있거나 거의 옷을 입지 않은 모습으로 묘사되었다.
• Grok에서 사용된 일부 프롬프트는 OpenAI의 ChatGPT, Meta AI, Anthropic의 Claude에서는 부적절하다고 거부되었으나, Google Gemini는 일부 이미지를 생성했다.
• Grok Imagine 영상 중 하나는 Ashley St. Clair가 비키니를 입고 춤추는 모습으로 편집되어 X에 게시되었으며, 이는 St. Clair가 Musk와 관계가 있고 그의 자녀를 둔 어머니이며, 1월에 딥페이크 등장 후 xAI를 상대로 법적 조치를 취한 바 있다.
• Carrie Goldberg 변호사는 유명인사를 포함한 성적 학대 자료 생성은 새로운 것이 아니지만, 이러한 유형의 이미지 생성 및 즉각적인 소셜 미디어 공유 능력은 "역사적인" 발전이라고 지적했으며, Imran Ahmed CEO는 Musk가 "클릭 한 번으로 여성과 어린이를 벗기는 데 도움이 되는 기괴한 기능을 고의로 플랫폼에 추가했다"고 비난했다.
• SpaceX는 5월 투자자들에게 Grok 관련 법적 불만 처리를 위해 5억 3천만 달러를 따로 마련했다고 경고했다.
• 캐나다 개인정보보호위원회는 xAI와 Grok의 딥페이크 위반에 대한 예비 조사 결과, xAI가 "초기부터 적절한 안전 장치를 포함하지 않아" 캐나다의 연방 민간 부문 개인 정보 보호법을 위반했다고 주장했다.

시사점

Grok의 지속적인 성적 딥페이크 호스팅 문제는 생성 AI 기술의 안전 및 윤리적 책임에 대한 중대한 우려를 제기하며, 기술 기업들이 사용자 생성 콘텐츠에 대한 강력한 보호 조치를 구현해야 할 필요성을 강조한다.