San Francisco Demands Apple and Google Delete AI ‘Nudify’ Apps From App Stores

개요

샌프란시스코 시 검찰이 Apple과 Google에게 AI 기술을 이용해 사용자의 옷을 벗기거나 나체 이미지를 생성하는 "nudify" 앱을 앱 스토어에서 삭제하고 해당 기술로 수익을 창출하는 것을 중단하라고 요구했습니다.

주요 내용

* 샌프란시스코 시 검찰 David Chiu는 Apple과 Google에 13개의 얼굴 교환(face-swapping) 앱을 앱 스토어에서 제거하라는 법적 통지를 보냈습니다. 이 앱들은 AI를 이용해 비동의 나체 이미지를 생성하는 기능을 제공합니다.
* 시 검찰은 Apple과 Google이 이러한 앱 개발자들과의 비즈니스 관계를 끊고, 명시적인 딥페이크 이미지 판매를 "방조 및 공범"하는 것을 중단해야 한다고 주장했습니다.
* 이 앱들은 인앱 결제를 통해 수익을 창출하며, Apple과 Google은 이 수수료의 일부를 가져가는 것으로 알려졌습니다.
* Apple과 Google은 개발자 정책에 따라 플랫폼에서의 포르노, 학대, 괴롭힘을 금지하고 있으며, 과거에도 여러 차례 딥페이크 앱을 삭제한 바 있습니다.
* Google 대변인은 정책 위반으로 수백 개의 nudifying 기능을 가진 앱을 삭제했으며, 관련 검색어를 제한하는 등의 조치를 취하고 있다고 밝혔습니다. Apple은 이에 대한 즉각적인 코멘트를 하지 않았습니다.
* 최근 몇 년간 AI 기술 발전으로 이러한 "nudification" 기술을 활용한 앱, 웹사이트, 봇이 등장했으며, 이들은 사용자가 제공한 사진을 이용해 디지털 방식으로 옷을 벗기거나 성적인 시나리오에 배치하는 기능을 제공합니다.
* 이러한 딥페이크 이미지는 괴롭힘, 굴욕감, 협박 등 심각한 피해를 유발하며, 특히 미성년자를 대상으로 한 사례도 보고되었습니다.
* Tech Transparency Project 및 Cornell University, Georgetown University 연구진의 보고서에 따르면, 이러한 앱들은 일반적으로는 "얼굴 교환" 도구로 광고되지만, 실제로는 딥페이크 생성 기능을 포함하고 있으며, 플랫폼의 콘텐츠 모더레이션 시스템을 우회하고 있습니다.
* 연구 결과, 많은 얼굴 교환 앱들이 나체 이미지와의 얼굴 교환을 가능하게 했으며, 이를 방지하기 위한 안전 조치가 부족한 것으로 나타났습니다.

시사점

샌프란시스코 시 검찰의 이번 조치는 AI 기술의 오용으로 인한 심각한 사회적 문제를 제기하며, 플랫폼 기업들의 책임 강화와 더 엄격한 앱 검토 프로세스의 필요성을 강조합니다.