How Claude’s AI Watermark Actually Works

개요

Claude AI 워터마크는 텍스트 생성 과정에서 미묘한 통계적 변화를 주어 AI가 생성했음을 나타내며, 이는 개별 토큰 선택에 영향을 미치는 방식으로 작동합니다.

주요 내용

• LLM의 텍스트 생성 방식: LLM은 문장을 직접 쓰는 것이 아니라 한 번에 하나의 토큰(단어 또는 단어의 일부)을 생성하며, 각 토큰에 대한 확률 분포를 계산합니다.
• 워터마킹의 원리: 워터마킹 메커니즘은 전체적인 의미를 유지하면서 모델의 토큰 선택 과정에 통계적 변화를 가하여 AI 생성 텍스트를 식별할 수 있도록 합니다.
• 제한된 무작위성 활용: 텍스트 생성 시 명확한 다음 토큰 선택지가 적은 경우(예: "2 + 2 =")에는 조작할 여지가 적지만, 여러 합리적인 다음 토큰 선택지가 존재하는 경우(예: "새로운 시스템은 제공합니다...") 워터마크가 작동할 여지가 생깁니다.
• 비밀 키를 이용한 선택적 토큰 그룹화: 비밀 키를 사용하여 후보 토큰을 '선호 그룹'과 '기타 그룹'으로 나누고, 확률이 비슷한 토큰이 있을 때 통계적으로 선호 그룹에 속한 토큰을 약간 더 선호하도록 유도합니다.
• 분산된 통계적 패턴: 워터마크는 특정 단어에 존재하는 것이 아니라, 수많은 토큰 선택 결정에 걸쳐 분산된 통계적 패턴으로 나타나므로 개별 결정만으로는 식별하기 어렵습니다.
• 탐지 방식: 생성기는 워터마킹 규칙을 알기 때문에, 탐지기는 텍스트를 분석하여 일반적인 무작위 생성 패턴과 비교했을 때 통계적으로 예상되는 패턴이 얼마나 다른지를 측정하여 워터마크 존재 여부를 판단합니다. 이는 통계적 가설 검정 문제입니다.
• 긴 텍스트의 탐지 용이성: 워터마크의 통계적 편향은 텍스트 길이가 길수록 더 많은 관찰 데이터를 제공하므로, 무작위적인 결과에 의해 신호가 압도될 가능성이 줄어들어 탐지가 더 용이해집니다.

시사점

Claude AI 워터마킹 기술은 텍스트 생성의 미묘한 통계적 패턴을 활용하여 AI 생성 콘텐츠를 탐지하는 방식으로, 텍스트 길이가 길수록 탐지 신뢰도가 높아지는 특성을 가집니다.