Every AI Visibility Tool Is Lying to You

개요

AI 가시성 측정 도구들은 종종 부정확한 수치를 제시하며, 이는 AI 모델의 비결정성, 개인화, 지리적 요인, 그리고 방법론의 불투명성 때문에 발생한다.

주요 내용

* AI 가시성 도구의 부정확성: 현재 AI 가시성 도구들이 제공하는 순위, 점유율, 가시성 등의 수치는 실제보다 정밀하게 만들어진 경우가 많다. AI 모델은 본질적으로 개인화, 지리적 위치, 시간, 계정 상태 등 다양한 요인에 따라 달라지는 비결정성을 가지므로, 단일 수치로 정확한 성과를 측정하기 어렵다.
* 프론트엔드 스크래핑의 한계: ChatGPT, Claude와 같은 소비자용 애플리케이션의 프론트엔드를 스크래핑하는 방식은 실제 사용자 경험에 더 가까워 보일 수 있지만, 특정 계정, 브라우저 세션, 지리적 위치, 구독 등 단일 조건에서의 결과만을 반영하므로 대표성을 갖기 어렵다. 또한, 대량 스크래핑 시 IP 패턴, 로그인 반복 등으로 인해 측정 결과에 편향이 발생할 수 있다.
* API 호출의 차이점: API를 사용하는 방식은 스크래핑보다 반복적이고 감사 가능하며 비용 효율적일 수 있지만, 소비자용 애플리케이션과는 다르게 작동한다. API는 웹 검색, 모델 라우팅, 지역 정보 검색 등 특정 도구와 설정을 사용자가 직접 구성해야 하므로, 소비자 앱이 보여주는 결과와 차이가 발생할 수 있다.
* 프롬프트 세트의 영향: AI 가시성 도구는 특정 프롬프트 세트에 의존하여 데이터를 수집하며, 이 프롬프트 세트의 구성이 결과에 결정적인 영향을 미친다. 어떤 프롬프트 그룹을 사용하느냐에 따라 브랜드의 가시성이나 경쟁력 순위가 크게 달라질 수 있다.
* 지리적 위치의 중요성: 특히 지역 기반 비즈니스의 경우, 사용자의 지리적 위치에 따라 AI의 응답이 크게 달라진다. 단일 글로벌 가시성 순위는 무의미하며, 측정 시 명시적인 지리적 맥락을 고려해야 한다.
* 모델 드리프트(Model Drift): AI 모델은 지속적으로 업데이트되고 조정되므로, 동일한 모델 이름이라도 시간이 지남에 따라 응답 방식이 크게 변할 수 있다. 이는 주간 트렌드 변화가 콘텐츠 개선 때문이 아니라 모델 자체의 변화 때문일 수 있음을 의미한다.
* 정직한 AI 가시성 측정: AI 가시성 도구는 정밀한 순위나 점유율 대신, "상업적 프롬프트에서 보이지 않음", "경쟁사 대비 인용 빈도 낮음", "특정 모델이나 지역에서만 나타남"과 같은 방향성 있는 통찰을 제공해야 한다.
* Canonry의 측정 방식: Canonry는 AI 가시성을 단일 답변이 아닌, 여러 프롬프트, 제공자, 경쟁사, 위치에서의 반복적인 관찰을 통한 분포로 취급한다. API를 사용하여 제어 가능하고 감사 가능한 측정 환경을 구축하며, 지리적 맥락을 명시적으로 전달한다.

시사점

AI 가시성 측정 도구들은 정확한 순위나 수치를 제시하기보다는, 측정 방법론, 데이터 분포, 그리고 원시 데이터를 투명하게 공개함으로써 방향성 있는 통찰을 제공해야 하며, 이러한 방식이 사용자에게 더 실질적인 가치를 제공할 수 있다.