Why We Banned 'Within the Realm of...' From Our AI Game Descriptions

개요

HTML5 게임 포털 DooDoo.Love는 GPT-4.1-mini로 생성된 게임 설명이 특정 문구와 패턴으로 집중되는 문제점을 발견하고, Google의 스팸 정책 위반으로 이어질 수 있음을 인지하여 프롬프트 변경 및 검증 스크립트 도입을 통해 이를 해결했다.

주요 내용

* 문제 발생: 6,800여 개 게임 설명 생성 시 GPT-4.1-mini가 특정 도입 문구("What separates casual from committed play...")와 스킬 티어 프레임("Veterans of [genre] recognize...")을 반복 사용하고, 'hitbox', 'frame-pacing', 'tick rate', 'RNG floor' 등의 전문 용어를 과도하게 포함시켜 Google의 'Scaled content abuse' 정책에 위반될 가능성이 높아졌다.
* Google의 반응: 이러한 패턴은 Google의 콘텐츠 분류기가 '템플릿화된 콘텐츠'로 인식하여 해당 도메인의 색인 생성률이 18.6%로 급감하는 결과를 초래했다.
* 개선된 프롬프트 (v3):
* 금지된 도입 문구: "Within the realm of...", "Within the crowded field of..." 등 특정 도입부를 명시적으로 금지했다.
* 금지된 보이스 패턴: "Veterans of [X] recognize...", "What separates casual from committed play..." 등 반복적인 보이스 패턴 사용을 금지하고, 게임별 고유 메커니즘을 사용하도록 유도했다.
* Jargon Budget: 'hitbox', 'tick rate', 'frame-pacing', 'metagame', 'RNG floor' 용어 사용을 전체 설명당 최대 2개로 제한했다.
* 오프닝 앵커: 구체적이고 게임 고유의 메커니즘, 시각적 요소, 조작감, 디자인 선택, 물리/수치적 제약, 모순 등을 기반으로 첫 문장을 작성하도록 6가지 모드를 제시했다.
* 게임 이름 앵커링: 게임 이름이 첫 80자 이내에 포함되도록 했다.
* 검증 스크립트: 생성된 콘텐츠의 도입부 중복, 금지된 보이스 패턴 사용 빈도, 50자 길이 접두사 중복, Jargon Budget 초과 여부를 검사하는 스크립트를 CI(Continuous Integration) 과정에 통합하여 회귀를 방지했다.
* 점진적 마이그레이션: 전체 콘텐츠를 한 번에 변경하는 위험을 줄이기 위해 GitHub Actions를 통해 배치(batch) 단위로 마이그레이션하며, 4개의 일일 체크포인트를 통해 v3 코퍼스의 동질성 점수를 검증한다.
* 향후 개선점: 초기부터 금지 패턴을 프롬프트에 직접 반영하고, 동질성 검사를 사후 감사보다는 CI 게이트로 활용하며, LLM의 '창의성'에 대한 과신을 경계하고 부정적인 제약을 명확히 정의하는 것이 중요하다.

시사점

LLM으로 콘텐츠를 대량 생성할 경우, 프롬프트 설계 시 의도치 않은 패턴 집중 현상을 방지하기 위해 명시적인 제약과 주기적인 검증 메커니즘을 구축하는 것이 검색 엔진에서의 색인 생성과 검색 순위 확보에 필수적이다.