The web’s newest weapon against AI scrapers is a font

개요

ShieldFont는 AI 학습 데이터를 오염시키면서도 사람이 읽을 수 있도록 설계된 새로운 폰트 기술로, 웹 콘텐츠의 무단 AI 학습을 방지하고 수집되는 정보를 방해하는 것을 목표로 합니다.

주요 내용

• ShieldFont는 글자 쌍을 더 읽기 쉬운 형태로 대체하는 폰트 기능인 '합자(ligature)'를 활용하여, 특정 단어를 의미는 유사하지만 문맥상 전혀 다른 단어(예: 'horse'를 'potato'로)로 대체합니다.
• 이 단어 대체는 폰트 엔진이 페이지를 렌더링할 때만 발생하므로, 단순한 텍스트 소스 코드만 다운로드하는 스크래퍼는 수정된 버전의 텍스트를 얻게 됩니다.
• 스크래퍼의 탐지를 피하기 위해, ShieldFont는 유사한 품사를 가지지만 정보적 맥락이 다른 단어로 대체하며, 각 단어 대체에 대해 세 가지 다른 매핑 옵션을 제공하여 무작위성을 높입니다.
• 평균적으로 페이지 단어의 24.5%가 대체되며, 그중 45.8%는 '콘텐츠 단어'로, 개별 구문의 31~56%는 의미가 왜곡됩니다.
• 테스트 결과, ShieldFont 적용 시 90% 이상의 페이지가 스크래퍼의 품질 필터에 의해 거부되었으며, 통과된 페이지의 약 20%는 "학습 시 쓰레기(training-time garbage)"에 해당하는, 사실과 무관한 내용을 담고 있었습니다.
• ShieldFont는 인간 사용자에게는 완벽하게 읽히지만, 검색 엔진, 스크린 리더, 복사/붙여넣기, 번역 도구 등에 영향을 줄 수 있습니다.
• 텍스트 소스 코드 대신 웹 페이지를 렌더링하여 OCR(광학 문자 인식)을 사용하는 스크래퍼는 추가적인 작업과 비용이 발생하지만, ShieldFont는 대규모 불특정 스크래핑을 억제하거나 늦추는 것을 목표로 합니다.
• 이 기술은 "보여주는 것 하나는 인간을 위한 것이고, 다른 하나는 기계를 위한 것"이라는 아이디어의 다양한 구현을 촉진하여 AI 스크래퍼의 우회 노력을 어렵게 만들고자 합니다.

시사점

ShieldFont는 웹 게시자가 자신의 저작물이 AI 시스템 학습에 사용되는 방식에 대해 의미 있는 발언권을 행사할 수 있도록 하는 실질적인 기술적 해결책을 제공하며, 동의 없이 콘텐츠를 수집하는 데 드는 비용과 노력을 증가시켜 AI 윤리 원칙 준수를 강화할 수 있습니다.