Google's SynthID watermark is hard to break, but it doesn't solve AI disinformation

개요

Google의 SynthID 워터마킹 기술은 AI 생성 콘텐츠를 식별하는 데 잠재적으로 기여하지만, AI 기반 허위 정보의 확산을 근본적으로 해결하기에는 한계가 있습니다.

주요 내용

* AI 콘텐츠의 급증: 불과 18개월 만에 생성 AI는 15억 개의 이미지를 생성했으며, Google은 2년 만에 1000억 개 이상의 AI 이미지와 동영상을 생성했다고 발표했습니다.
* SynthID 워터마킹 기술: Google은 AI 생성 콘텐츠에 보이지 않는 워터마크를 삽입하여 식별을 돕는 SynthID 기술을 개발했으며, 이 기술은 이미지 압축, 크기 조정, 편집 등에도 견딜 수 있도록 설계되었습니다.
* SynthID의 내구성 테스트: Python Pillow 라이브러리를 사용한 테스트에서 SynthID는 300번의 이미지 압축 및 크기 조정 반복 후에도 워터마크가 유지되는 것으로 나타났습니다. 또한, 이미지의 20%를 잘라내는 편집 후에도 워터마크 감지가 가능했으나, 20% 이상의 심각한 크롭(crop) 시 감지가 불가능해졌습니다.
* SynthID의 한계:
* 악의적 공격 가능성: SynthID는 적대적 공격을 견디도록 설계되지 않았으며, 충분한 시간과 동기가 있다면 우회될 가능성이 있습니다.
* 접근성 및 파편화: SynthID 검증은 Gemini를 통해서만 가능하며, API나 공개 웹 페이지를 제공하지 않습니다. 또한, 하루 약 10회로 사용량이 제한되며, 유사 이미지의 반복 업로드 시 더 일찍 차단될 수 있습니다. OpenAI와 Runway 등 다른 기업에서 사용하는 SynthID 기반 워터마크는 서로 호환되지 않아 통합적인 검증이 어렵습니다.
* 근본적인 문제 해결 불가: AI 콘텐츠 생성 방식의 다양성과 오픈 소스 모델의 존재로 인해 모든 AI 생성 콘텐츠에 워터마크를 적용하는 것은 불가능합니다.
* 대안적 접근 방식 (C2PA): 메타데이터 스키마 방식인 C2PA는 암호학적으로 안전하며, 파일의 생성 시점, 방법, AI 사용 여부 등 신뢰할 수 있는 출처 정보를 제공할 수 있습니다. Google Pixel 폰은 C2PA 통합을 지원합니다.
* 진실 검증의 중요성: AI 콘텐츠의 양이 폭발적으로 증가함에 따라, 허위 정보를 탐지하는 것보다 진실된 정보를 검증하고 출처를 증명하는 데 집중하는 것이 더 중요할 수 있습니다. 검증되지 않은 콘텐츠는 잠재적으로 의심스러운 것으로 간주될 수 있습니다.

시사점

Google의 SynthID는 AI 생성 콘텐츠 식별에 기여하지만, AI 기반 허위 정보 문제를 완전히 해결하지는 못하며, 오히려 진실성 검증을 위한 기술적, 정책적 노력이 통합되고 발전해야 할 필요성을 시사합니다.