Hugging Face is being used to easily undress women and children

개요

Hugging Face에 호스팅된 일부 이미지 편집 AI 모델들이 여성을 대상으로 한 비합의적 딥페이크 생성에 악용되고 있으며, Hugging Face는 이를 방지하기 위한 조치를 미흡하게 취하고 있다는 보고가 있습니다.

주요 내용

• 유럽 비영리 단체 AI Forensics의 보고서에 따르면, Hugging Face의 상위 9개 이미지 편집 모델 중 7개가 "상의 탈의"와 같은 간단한 프롬프트 요청에 쉽게 동의하여 비합의적 딥페이크 생성이 가능했습니다.
• Google의 Gemini나 OpenAI의 ChatGPT와 같은 주요 생성형 AI 모델들과 달리, Hugging Face에서 테스트된 모델들은 사람을 옷을 벗기거나 성적으로 묘사하는 프롬프트를 차단하는 안전 장치가 부족한 것으로 나타났습니다.
• AI Forensics는 Hugging Face에 "honeypot" 이미지 편집 Spaces를 개설하여 7일간 1,000개 이상의 프롬프트와 이미지를 수신했으며, 이 중 73%가 성적인 내용을 담고 있었습니다.
• 수신된 성적 요청 중 83%는 이미지 속 인물을 탈의시키려는 시도였으며, 이 중 95%가 여성을 대상으로 했고, 거의 7%는 아동을 대상으로 했습니다.
• AI Forensics의 연구원 Paul Bouchaud는 테스트된 Spaces 대부분이 비합의적인 친밀 이미지 생성에 사용될 수 있으며, 사용자들이 실제로 그러한 목적으로 이용하고 있다고 밝혔습니다. 플랫폼 수준에서는 어떠한 안전 장치도 구현되지 않았으며, 개발자만 선택적으로 구현할 수 있으나 대다수가 하지 않고 있습니다.
• 이는 "명시적인 동의 없이 생성된" 성적인 콘텐츠와 미성년자 노출을 포함한 유해 콘텐츠 생성을 금지하는 Hugging Face 자체 정책에 위배됩니다.
• AI Forensics는 Hugging Face에 프롬프트 수준 필터링 및 출력 수준 스캐닝 안전 장치를 구현하여 이미지 및 비디오를 생성하는 모든 Spaces에서 성적인 편집 요청 및 유해 콘텐츠를 차단할 것을 권고했습니다.

시사점

Hugging Face는 플랫폼 수준의 안전 장치를 강화하여 비합의적 딥페이크 및 유해 콘텐츠 생성을 방지하고, AI 기술의 윤리적 사용을 보장하는 데 있어 더 적극적인 책임을 다해야 할 필요가 있습니다.