A third of Perplexity's citations don't contain the number they're cited for

개요

Perplexity의 검색 모델이 인용한 정보의 34.7%는 해당 수치를 포함하지 않거나 열리지 않는 페이지를 가리키는 것으로 나타났습니다.

주요 내용

* Perplexity의 두 가지 검색 모델(perplexity/sonar 및 perplexity/sonar-pro)에 310개의 사실 기반 질문을 하고, 모델이 제공한 1,826개의 인용을 조사한 결과, 34.7%가 열리지 않거나 언급된 수치를 포함하지 않는 페이지로 연결되었습니다.
* 주장(claim)별로 평가했을 때, 14.4%의 주장이 제시된 정보와 일치하는 페이지를 찾지 못했습니다.
* 인용 오류의 주된 원인은 링크 오류(1.3%)가 아니라, 로그인이나 결제 필요 페이지(16.1%) 또는 읽을 수 없는 페이지(2.5%)였습니다.
* 가장 빈번하게 발생한 오류 유형은 회사의 본사 주소를 위키피디아 페이지로 인용했지만, 페이지에는 해당 주소가 포함되지 않은 경우였습니다.
* CEO의 취임 날짜를 인용했지만, 해당 날짜가 페이지에 명시되지 않은 경우도 있었습니다.
* CEO, 본사 주소, 상품 가격 등 특정 정보 유형에 대한 인용의 정확성이 낮게 나타났으며, 이는 해당 정보가 단일 출처에 잘 기록되어 있지 않기 때문으로 분석됩니다.
* sonar와 sonar-pro 모델 간의 인용 정확도 차이는 통계적으로 유의미하지 않았습니다.
* GPT-4.1 (웹 플러그인 사용)은 Perplexity 모델보다 적은 수의 출처를 인용하며, 자체 도메인 인용 비율이 더 높았습니다.
* Perplexity가 인용한 출처의 23.4%는 회사 자체 도메인이며, 23.1%는 B2B 디렉토리, 매출 추정치, 리드 목록 등입니다.
* 인용된 URL의 25.1%는 Wayback Machine에 기록된 적이 없어, 페이지가 사라질 경우 검증이 불가능합니다. 특히 디렉토리 및 리드 목록 페이지의 39.3%가 이러한 상황에 해당합니다.

시사점

Perplexity와 같은 AI 검색 모델은 제공하는 정보의 신뢰성을 높이기 위해 인용의 정확성과 검증 가능성을 개선해야 하며, 사용자에게 제공되는 정보의 근거 자료가 영구적으로 보존되지 않는다는 점은 AI 기반 정보 검색의 장기적인 신뢰성에 대한 우려를 제기합니다.