Google Earth risked ruin with retracted AI tool for making fake satellite pics

개요

Google Earth에 도입되었던 AI 기반 가짜 위성 사진 생성 기능은 SynthID라는 디지털 워터마킹 시스템의 한계와 함께, 허위 정보 확산 및 공공 신뢰 저하 위험으로 인해 논란 끝에 철회되었습니다.

주요 내용

• Google Earth의 AI 이미지 생성 기능은 Google의 SynthID 디지털 워터마킹 시스템을 사용했으나, 이미지 편집 및 데이터 손실 후에도 워터마크가 유지되는 것으로 확인되었습니다.
• SynthID는 하루에 약 10건의 이미지 확인만 허용하는 제한이 있었습니다.
• Google의 Gemini 앱은 Google Earth에서 생성된 AI 수정 이미지에 대해 "Google AI 도구를 사용하여 생성되거나 수정되었음을 나타내는 디지털 워터마킹이 감지되었습니다."라고 응답했습니다.
• Google의 AI 생성 이미지 정책이 병원 폭격 장면과 같은 유해한 주제의 이미지 생성을 막지 못한 것으로 지적되었습니다.
• SynthID와 Google AI 도구만으로 이미지의 AI 생성 여부를 확인하는 것에 대한 회의적인 시각이 제기되었으며, "가짜는 자격 증명 그대로 깨끗한 파일로 전달되지 않는다"는 의견이 제시되었습니다.
• 스마트폰 카메라로 AI 수정된 이미지를 촬영하는 경우 SynthID의 이미지 검증 기능이 작동하지 않았습니다.
• Google Earth에 AI 이미지 생성 기능을 도입하는 것은 실제 세계의 진정성 있는 이미지를 제공하는 신뢰할 수 있는 자료로서의 Google Earth에 대한 대중의 신뢰를 훼손할 위험이 있었습니다.
• 이 기능은 정부 관계자나 AI 도구에 의해 수정 또는 생성되었다고 주장하며 실제 위성 사진을 거부하려는 사람들에게 구실을 제공할 수 있었습니다.
• 언론인과 연구자들이 잘못된 정보 및 허위 정보를 확인하는 것을 더욱 어렵게 만들 수 있었습니다.
• Google은 AI 도구를 Google Earth에서 빠르게 제거하여 즉각적인 우려를 완화했지만, 향후 기능을 다시 도입할 가능성을 시사했습니다.
• Google은 "지리 공간 전문가들이 이 기능을 다양한 유용한 목적으로 사용하는 것을 보았지만, 정책을 위반하는 것으로 보이는 생성된 이미지의 스크린샷을 공유하는 사람들도 보았다"며, "더 강력한 안전 장치를 구현하는 동안 Google Earth에서 이 기능을 철회하고 있다"고 밝혔습니다.

시사점

Google Earth의 AI 이미지 생성 기능 철회는 AI 기술의 잠재적 위험성을 보여주며, 허위 정보 확산 방지를 위한 기술적 해결책뿐만 아니라 다중 소스 검증 및 지속적인 감시의 중요성을 강조합니다.