Exploring Claude/GPT Knowledge Cutoffs and Pre-Training Timelines

개요

대규모 언어 모델(LLM)을 "Incompressible Knowledge Probes" 및 "Data Mixture Inference"와 같은 기법으로 탐색함으로써, GPT-5 및 Opus와 같은 모델의 파라미터 수, 학습 데이터셋 구성, 학습 시점을 추정하는 방법을 제시합니다.

주요 내용

* LLM 학습은 일반적으로 거대한 일반 데이터셋을 이용한 사전 학습, 도메인 특화 "교과서 수준" 데이터로 기본 모델 향상, 그리고 "조수" 페르소나를 위한 후학습의 세 단계를 거칩니다.
* 가장 비용이 많이 들고 데이터 집약적인 단계는 사전 학습 체크포인트를 생성하는 것입니다.
* 모델의 지식 차단 시점을 추정하기 위해 위키피디아의 일일 사실 데이터셋을 이용한 8지선다 퀴즈를 모델에 제공하고 오류율을 분석했습니다.
* Anthropic의 Opus 4.7 이상 모델들은 2025년 말 경에 중단된 동일한 학습 실행에서 파생된 것으로 보이며, 이는 비슷한 지식 차단 시점으로 추정됩니다.
* OpenAI의 GPT-5.6 계열 모델은 2026년 2월 말에 완료된 별도의 체크포인트에서 나왔으며, 이전 모델과 구별되는 지식 차단 시점을 가집니다.
* 모델의 자기 지시적 질문(예: "지금 몇 월 며칠인가요?")에 대한 응답 분석은 사실 기반 추정치와 상관관계가 있으며, 모델이 스스로를 인식하는 시점과 학습 데이터셋의 최신성을 보여줍니다.
* 모델이 스스로를 어떻게 인식하는지를 분석하는 것은 학습 시점 및 데이터셋을 간접적으로 추정하는 데 사용될 수 있습니다.
* 수직 밴드는 모델이 과거 모델의 출력(사용자로부터)을 학습했음을 나타내며, OpenAI는 GPT-4, GPT-4o, GPT-5를, Anthropic은 3.5 Sonnet에서 Sonnet 4.5로 전환하는 패턴을 보입니다.
* OpenAI 모델은 다른 연구소의 모델로 식별되지 않는 경향이 있지만, Anthropic의 Sonnet 5는 GPT-4로 자주 식별되며, 이는 이전 ChatGPT 대화가 Claude 학습 데이터셋에 포함되었을 가능성을 시사합니다.

시사점

이러한 탐색 기법들은 공개된 정보가 제한적인 LLM의 내부 작동 방식과 학습 과정에 대한 통찰력을 제공하며, 향후 모델의 발전 방향과 데이터셋 구성에 대한 이해를 높이는 데 기여할 수 있습니다.