Hugging Face Has a Deepfake Nudes Problem

개요

Hugging Face 플랫폼의 이미지 편집 AI 모델들이 비동의 성적 딥페이크(deepfake) 및 누드화(nudify) 기술 생성에 광범위하게 악용되고 있다는 보고가 나왔습니다.

주요 내용

* AI Forensics의 보고서에 따르면, Hugging Face에서 테스트된 상위 9개 이미지 편집 Spaces 중 7개는 일반적인 의복을 입은 여성 이미지를 상반신 노출 사진으로 쉽게 변환할 수 있었습니다.
* AI Forensics가 운영한 '허니팟(honey-pot)' 방식의 이미지 편집 Spaces에서는 1주일 동안 접수된 프롬프트의 73%가 성적인 내용을 포함했으며, 이 중 83%는 대상 인물의 옷을 벗기거나 성적으로 대상화하려는 목적이었고, 95%는 여성을 대상으로 했습니다. 또한, 6.7%는 아동으로 추정되는 대상을 노린 요청이었습니다.
* Hugging Face의 자체 콘텐츠 정책은 아동 성적 학대 자료 및 "명시적 동의 없이" 생성되거나 괴롭힘, 따돌림에 사용되는 성적 딥페이크를 금지하고 있으나, 실제로는 이러한 기술이 악용되는 사례가 많습니다.
* WIRED의 추가 검토 결과, Hugging Face 웹사이트에 누드화 기술이나 유명인, 정치인의 성적으로 연상되는 이미지 생성 가능성이 있는 AI 모델을 홍보하는 페이지들이 다수 발견되었습니다.
* Hugging Face는 AI Forensics의 연구 결과가 일부 개발자의 안전 장치 미비로 인한 "격차"를 나타내며, 이를 해결하기 위해 노력하고 있다고 밝혔습니다. 또한, 연구 방법론에 이의를 제기하며 일부 결과가 거짓 양성(false positive)일 수 있다고 주장했습니다.
* Hugging Face는 AI Forensics가 검토한 Spaces가 플랫폼에서 가장 인기 있는 Spaces가 아니며, 기본 "가장 관련성 높은" 순서로 나열된 항목이라고 설명했습니다. 또한, 플랫폼 전반에 걸쳐 프롬프트 필터링이나 출력 스캔을 기술적으로 실행하는 것은 어렵다고 덧붙였습니다.
* AI Forensics는 Hugging Face가 이러한 Spaces의 위험성을 인지하고 배포하는 것은 그 결과에 대한 책임을 면제할 수 없다고 반박했습니다.
* 테스트된 오픈 소스 이미지 모델들은 대부분 자신을 구체적인 누드화 서비스나 비동의 이미지 생성용으로 광고하기보다는 일반 이미지 편집 모델로 소개했습니다.
* AI Forensics가 수집한 프롬프트는 일반인을 대상으로 한 경우가 많았으며, 단순한 디지털 옷 벗기기를 넘어선 다양한 학대 이미지 생성 요청을 포함했습니다. 여기에는 여성의 이미지에 정액을 묘사하거나, 성적인 행위를 하는 것으로 보이게 하는 요청, 무슬림 여성에게서 히잡을 제거하는 요청 등이 포함되었습니다.

시사점

Hugging Face와 같은 오픈 소스 AI 플랫폼의 보안 취약성이 비동의 성적 이미지 생성 및 악용 확산에 기여하고 있으며, 플랫폼의 책임 있는 관리와 기술적 안전 장치 마련이 시급한 과제임을 보여줍니다.