Google Earth’s AI deepfake tool only lasted one day

개요

Google Earth에 새롭게 도입된 AI 기반 위성 이미지 편집 도구가 단 하루 만에 비활성화되었습니다. 이 도구는 텍스트 프롬프트를 사용하여 실제 세계의 AI 딥페이크 이미지를 생성할 수 있게 했으나, 오용 가능성이 제기되어 정책 준수를 강화하기 위해 롤백되었습니다.

주요 내용

* Google Earth에 사용자가 텍스트 프롬프트로 위성 이미지를 편집하고 AI로 새로운 이미지를 생성할 수 있는 기능이 출시되었습니다.
* 이 기능은 사용자가 실제 세계의 AI 딥페이크 이미지를 만들 수 있도록 허용했습니다. 예를 들어, 특정 사용자는 멕시코 국경 근처 난민이나 가자지구 병원 옆 폭탄 구덩이와 같은 이미지를 생성했습니다.
* Google은 초기 대응으로 생성된 이미지에 디지털 워터마크가 포함되어 있으며 유해한 주제에 대한 이미지 생성을 방지했다고 밝혔습니다.
* 그러나 해당 기능은 출시 하루 만에 Google의 새로운 정책 위반 사례가 공유되면서 롤백되었습니다.
* Google은 지리 공간 전문가들이 유용한 목적으로 이 기능을 사용했지만, 정책을 위반하는 것으로 보이는 생성된 이미지 스크린샷이 공유되는 것을 확인했다고 설명했습니다.
* Google은 더 강력한 안전 장치를 구현하는 동안 이 기능을 Google Earth에서 철회하며, 생성된 이미지는 다른 사용자에게 표시되지 않았고 AI 생성 이미지로 워터마크가 찍혀 있었다고 강조했습니다.
* 테스트 결과, 이 도구로 생성된 미디어는 워터마크에도 불구하고 확산될 수 있었으며, AI 감지 도구를 속일 수도 있었습니다. 또한, 어떠한 프롬프트도 거부되거나 수정되지 않았습니다.

시사점

Google Earth의 AI 딥페이크 도구 롤백은 AI 생성 콘텐츠의 오용 가능성과 그로 인한 신뢰도 문제에 대한 기업의 우려를 보여줍니다. 이는 AI 기술의 발전과 함께 책임감 있는 적용 및 안전 장치 마련의 중요성을 시사합니다.