Three sites made 215,128 “best software” pages for AI. Perplexity cites them

개요

Perplexity AI 모델의 웹 검색 결과에서 수집된 7,534건의 인용 중 59.8%가 Tranco 최상위 100,000위 이하의 도메인에 해당하며, 23.4%는 상위 백만 개 도메인에도 포함되지 않는 것으로 나타났다.

주요 내용

* AI 모델의 정보 소스: Perplexity AI의 두 모델(sonar, sonar-pro)은 380개 소프트웨어 카테고리에 대한 추천을 위해 총 7,534개의 URL을 인용했으며, 이 중 절반 이상이 낮은 순위 또는 비주류 웹사이트였다.
* 비주류 및 신규 웹사이트의 비중: 인용된 도메인의 36.5%는 Tranco 상위 백만 개 목록에 포함되지 않았으며, 이러한 비주류 도메인들은 2023년 12월 이후에 생성된 것으로 추정되는 "Facts & Grounding Page"라는 제목의 HTML을 사용하는 3개의 사이트가 215,128개의 'best <category>' 페이지를 생성하여 상당한 부분을 차지했다.
* Guideflow.com의 영향력: Guideflow.com은 특정 카테고리에 속하지 않음에도 불구하고 194번의 인용으로 3위의 소스가 되었으며, 이는 벤더의 자체 제품 데모 페이지가 구매 추천의 근거로 사용될 수 있음을 시사한다.
* 공통 통제 하의 3개 웹사이트: wifitalents.com, worldmetrics.org, gitnux.org 세 웹사이트는 유사한 등록 정보, DNS 설정, 웹사이트 템플릿 및 콘텐츠 구조를 공유하며, 이 세 사이트는 총 215,128개의 기계 생성된 'best <category>' 소프트웨어 페이지를 발행했다. 이 사이트들은 AI 모델이 정보를 검색하는 데 사용되는 "Grounding" 용어를 제목과 설명에 사용하여 기계가 읽도록 설계된 것으로 보인다.
* 판매처 URL의 유효성: 모델이 제공한 1,502개의 벤더 홈페이지 중 1.1%는 접근 불가능했으며, 6.1%는 다른 도메인으로 리디렉션되었다. 일부는 잘못된 정보(예: 도박 사이트로 리디렉션되는 Dryad.co)를 제공하기도 했다.
* Perplexity 모델의 유사성: Perplexity의 두 모델은 289개 카테고리에서 동일한 인용 목록을 반환했고 URL 세트 간 Jaccard 유사도가 0.898로 매우 높아, 두 모델이 동일한 정보 검색 계층을 공유함을 나타낸다.

시사점

AI 기반 추천 시스템에서 정보의 출처와 신뢰성이 중요하며, 모델의 웹 검색 기능은 의도치 않게 저품질 또는 조작된 콘텐츠를 기반으로 추천을 생성할 수 있다.