Meta ran ads for an app promising to nudify female politicians

개요

Meta 플랫폼에서 여성 정치인의 딥페이크 영상을 생성하는 AI 앱 Kromix의 광고가 게재되어 논란이 되고 있다.

주요 내용

* Kromix 앱 광고: Meta 플랫폼에 "AI 이미지 스타일러"를 표방하는 Kromix 앱의 광고가 노출되었다. 이 앱은 "제한 없음", "모든 캐릭터는 실제 사람"이라고 광고하며, 유명 여성 정치인과 유사한 인물이 포르노 영상에 등장하는 딥페이크 영상을 포함하고 있었다.
* Meta 정책 위반: Meta의 성적 콘텐츠 및 비동의적 친밀 이미지 생성 도구 광고 금지 정책을 위반한 것으로 파악되었다.
* Apple App Store에서의 Kromix: Kromix 앱은 Meta의 광고 문제 제기 후 WIRED의 논평 요청 전에 Apple App Store에 있었으나, 이후 삭제되었다. 이 앱은 유료 사용자에게 사진 업로드를 요청하여 "침실 강간", "디즈니 사랑" 등의 시나리오에 사용하거나 AI 생성 포르노 영상에 활용할 수 있도록 했다.
* Apple의 딥페이크 앱 관리: Apple 역시 비동의적 친밀 이미지, 누디피케이션, 성적으로 노골적인 콘텐츠 관련 정책 위반 앱들을 App Store에서 차단하는 데 어려움을 겪고 있으며, 샌프란시스코 시 법무장관으로부터 13개 앱 제거 및 딥페이크 이미지 판매 방조 중단 요구를 받았다.
* 광고 타겟팅 및 삭제: Kromix 광고는 "차세대 AI 마법을 풀어보세요"라는 문구와 함께 남성 사용자에게만 타겟팅되었으며, WIRED의 문의 후 Meta의 광고 라이브러리에서 삭제되었다. 총 32개의 광고가 5시간에서 46시간 동안 노출되었으며, 대부분 10회 이하의 노출을 기록했다.
* AI 생성 콘텐츠 및 정치인 대상: AI 생성 콘텐츠의 생산 및 배포가 민주화되면서, 공식 사진이나 기자회견 영상 등이 딥페이크 기술의 재료로 악용되어 여성 정치인들을 표적으로 삼는 사례가 증가하고 있다.
* Meta의 광고 검토 시스템: Meta는 광고가 게시되기 전에 자동화된 도구를 사용하여 정책 준수 여부를 검토한다고 명시하고 있으나, Kromix 광고 집행 계정은 8월 3일 생성되었고 팔로워가 없어 의심 징후를 보여야 했음에도 불구하고 광고가 노출되었다.
* Meta의 반복적인 정책 위반 사례: Meta 플랫폼에서는 과거에도 "nudify" 또는 "AI kissing" 앱을 홍보하는 광고가 빈번하게 나타났으며, Meta는 작년 11월부터 올해 1월까지 344,000개의 위반 광고를 삭제하고 일부 업체에 대해 소송을 제기하는 등 대응하고 있다고 밝혔다.
* 기만적인 광고 수법: 광고 미리보기 이미지를 해변, 산, 폭포 등으로 위장하여 포르노 콘텐츠임을 숨기는 기만적인 수법이 사용되었으나, Meta는 이러한 전술을 인지하고 있으며 시스템의 불완전함을 인정하고 개선 방안을 조사 중이라고 밝혔다.
* AI 아동 성범죄물 광고 논란: 최근 WIRED는 Meta에서 AI를 이용한 아동 성범죄물 및 미성년자 이미지를 포함한 광고 50여 건이 노출되었으며, 이는 Meta가 새로운 AI 기술을 도입했다고 발표한 이후에도 발생했다고 보도했다. 이러한 광고들은 Apple App Store에 있던 MaskAI 앱과 연결되었으며, WIRED의 문의 후 해당 앱도 삭제되었다.

시사점

Meta는 AI 기반 광고 검토 시스템의 허점과 인간 검토자의 부족으로 인해 비동의적 친밀 이미지 및 불법 콘텐츠 광고를 효과적으로 차단하는 데 지속적인 문제를 겪고 있으며, 이는 플랫폼의 신뢰성과 사용자 보호에 대한 의문을 제기한다.