The fanfiction community is at war with AI — and itself

개요

팬픽션 커뮤니티에서 생성형 AI 사용에 대한 논란이 증폭되면서, AI 생성 콘텐츠를 식별하려는 움직임이 나타나고 있으나 현재 사용되는 감지 방법에는 한계와 오탐 위험이 존재한다.

주요 내용

* AI 감지 도구 등장: 익명의 X 계정(@heatedrivalryai)이 Archive of Our Own(AO3)용 스킨을 개발하여 Anthropic의 Claude 챗봇으로 생성된 텍스트를 감지한다고 주장했다. 이 스킨은 Claude에서 직접 복사하여 AO3에 붙여넣을 경우 배경색을 빨간색으로 바꾸는 방식으로 작동한다.
* 감지 방법의 기술적 근거: Claude에서 텍스트를 붙여넣을 때 ‘font-claude-response-body’라는 코드 아티팩트가 삽입되며, 이 코드의 존재 여부로 Claude 사용 여부를 식별할 수 있다는 것이 해당 개발자의 설명이다. 실제 테스트에서도 이 코드가 있을 경우 화면이 빨간색으로 변하는 것이 확인되었다.
* 커뮤니티의 반응 및 문제점: 개발자는 AI 사용을 증명하려 했으나, 팬픽션 커뮤니티는 이 도구를 사용하여 AI를 사용한 작가들을 공개적으로 비난하는 움직임을 보였다. 이는 AI 사용에 대한 부정적인 인식을 반영한다.
* 도구의 한계:
* 부분적 감지: 텍스트가 Google Docs나 Microsoft Word 등 다른 프로그램을 거쳐 AO3로 옮겨지면 코드 아티팩트가 사라져 감지가 불가능하다.
* 오버제너럴라이제이션 위험: AI 사용 여부를 명확히 구분하기 어렵다. 전체 스토리가 AI로 작성되었을 수도 있고, 단순히 맞춤법 검사나 번역을 위해 일부 문장만 AI에 맡겼을 수도 있다.
* 제한적인 적용 범위: AO3 외 다른 플랫폼에서는 무용지물이며, Claude 외 다른 AI 모델(ChatGPT 등)은 감지하지 못한다.
* AI 감지의 어려움: 현재까지 인간이 작성한 텍스트와 AI 생성 텍스트를 구분할 수 있는 보편적으로 신뢰할 수 있는 기술적 해결책은 부재하다. 이미지, 비디오, 오디오 분야에서는 C2PA Content Credentials, Google SynthID 등 워터마크 및 메타데이터 기반 기술이 발전하고 있으나, 텍스트 복사 시에는 이러한 정보가 유지되지 않는다.
* AI 기업의 동기: AI 모델의 성능 저하를 막기 위해 AI 기업은 자체적으로 AI 텍스트 감지 기술 개발에 대한 동기가 있다.
* 기존 팬픽션 커뮤니티의 판단 방식: 현재 많은 팬픽션은 AI 감지 도구보다는 특정 문장 구조나 과도한 수사법 등 "감"에 의존하여 AI 생성 여부를 판단한다. 하지만 AI는 학습 데이터를 바탕으로 인간의 글쓰기를 모방하므로, 이러한 방식도 한계가 있다.
* 가장 효과적인 방법: AO3의 태그 시스템이 AI 사용 여부를 가장 효과적으로 알릴 수 있는 방법으로, ‘Created Using Generative AI’ 태그를 통해 투명하게 공개하는 것이 중요하다. 그러나 커뮤니티의 반발로 인해 작가들이 솔직하게 공개할 유인이 적다.

시사점

팬픽션 커뮤니티 내에서 AI 사용에 대한 강경한 입장은 AI 감지 기술의 기술적 한계와 오탐 가능성으로 인해 의도치 않은 피해자를 양산할 수 있으며, 투명한 정보 공개와 같은 근본적인 해결책 모색이 필요하다.