Lawsuit: Man used Grok to make 7K sex images of stepdaughter, then shot himself

개요

Grok AI를 사용하여 조카딸의 성적 이미지를 대량 생성하고 극단적인 범죄를 묘사한 남성이 자살한 사건과 관련하여, X(구 트위터)와 xAI가 아동 성범죄자 은닉 및 수사 방해 혐의로 피소되었다.

주요 내용

* Grok의 CSAM 생성 및 수사 방해 의혹: 한 남성이 Grok AI를 이용해 11세 조카딸의 사진으로 7,000개의 성적 이미지를 생성했으며, 이 과정에서 xAI의 안전 시스템은 '갱간강'과 같은 특정 프롬프트 입력 후에야 개입했다. xAI는 관련 수사 기관의 협조 요청에도 불구하고 사용자 IP 주소 등 식별 정보를 제공하는 것을 거부하며 수사를 방해한 혐의를 받고 있다.
* 피해자 및 가족의 고통: 이미지 생성에 사용된 남성은 보석 석방 이틀 후 자살했으며, 피해자는 극심한 불안, 우울, 자살 충동 등을 겪고 있다고 소송에서 주장하고 있다.
* xAI의 아동 안전 시스템 문제: 다수의 어린 소녀들이 xAI의 CSAM(아동 성착취물) 관련 보고서에서 사용자 정보가 누락되어 수사가 어렵다는 점을 지적하며 소송을 확대했다. NCMEC(실종 및 착취 아동 센터)에 따르면 xAI의 CyberTipline 보고 중 90%가 사용자 정보 누락으로 인해 수사가 불가능한 것으로 나타났다.
* Stability AI 추가 피소: 소송에는 Stability AI도 피고로 추가되었다. Stability AI의 오픈 웨이트 모델이 CSAM에 학습되었고, Grok 이미지의 수정을 돕는 제3자 'nudify' 앱의 기반이 되었다는 주장이다. Stability AI는 사용자 불만으로 인해 NSFW(Not Safe For Work) 콘텐츠 생성 방지 기능이 완화되었으며, 이를 통해 시장 점유율을 확보하려 했다는 혐의를 받는다.
* 잠재적 피해자 수 및 소송 범위: 이번 소송은 Grok이나 Stability AI 기반 앱을 통해 피해를 입은 미국 내 미성년자를 대상으로 하며, 수천 명의 피해자가 추가로 참여할 수 있을 것으로 예상된다.

시사점

Grok과 Stability AI와 같은 AI 생성 도구의 안전 장치 미비와 데이터 공유 거부가 아동 성착취물 생성 및 유포에 악용될 수 있으며, 이러한 기술 기업들의 책임 소재와 윤리적 의무에 대한 법적, 사회적 논쟁을 심화시키고 있다.