Writing fingerprint analysis of responses reveals Kimi's similarity to Claude

개요

LLM 모델들의 응답 텍스트 분석을 통해 Kimi 모델이 Claude 모델과 유사한 작문 스타일을 보인다는 사실이 밝혀졌습니다.

주요 내용

* 모델별 작문 지문 분석: 각 LLM 모델의 응답 텍스트를 분석하여 고유한 "작문 지문(writing fingerprint)"을 생성합니다. 이는 단어, 구문, 문장 구조 등 텍스트의 통계적 특성을 기반으로 합니다.
* 유사도 측정: 생성된 작문 지문을 바탕으로 모델 간의 유사성을 측정합니다. 측정 방식은 상호 정보량(mutual information)과 KL 발산(Kullback-Leibler divergence)을 활용하여, 한 모델의 텍스트를 볼 때 다른 모델의 스타일이 얼마나 놀라운지를 계산합니다.
* Kimi와 Claude의 유사성: 분석 결과, Kimi 모델의 응답이 Claude 모델의 응답과 통계적으로 가장 유사한 작문 지문을 보였습니다.
* 시각화: 모델 간 유사성을 히트맵 형태로 시각화하여, 같은 개발사 또는 계열의 모델들이 유사한 색상으로 묶이는 경향을 보였습니다.
* '텔(Tell)' 기반 근거 제시: 두 모델이 공통적으로 자주 사용하지만 다른 모델들은 잘 사용하지 않는 단어나 구문(shared habits)을 '텔(tell)'이라고 명명하고, 이를 유사성 근거로 제시했습니다. 예를 들어, Kimi와 Claude는 특정 단어/구문을 빈번하게 사용하는 경향을 보였습니다.
* 데이터 소스 및 방법론: 분석은 "You're relatively right!"라는 동일한 질문 세트에 대한 22개 LLM 모델의 응답 텍스트를 기반으로 합니다. 텍스트는 BPE 토크나이저를 사용하여 분석되었으며, 특히 문자 n-그램(character n-gram)의 확률 분포를 모델링하고 이를 기반으로 유사성을 계산했습니다.
* 모델의 '참된 랩(true lab)' 분류: OpenRouter 등 다양한 플랫폼에서 제공되는 모델들을 실제 개발사(lab) 기준으로 재분류하여 분석했습니다.

시사점

이 분석은 LLM 모델의 작문 스타일이 각 모델의 고유한 특징을 반영하며, 유사한 훈련 데이터나 아키텍처를 가진 모델들은 서로 비슷한 작문 스타일을 보일 수 있음을 시사합니다. 또한, 모델의 성능뿐만 아니라 텍스트의 통계적 특성을 분석하여 모델 간의 관계를 파악하는 새로운 접근 방식의 가능성을 보여줍니다.