The Same Model Debating Itself Was More Self-Critical Than Two Different Models

개요

동일한 모델이 자신과 토론했을 때, 서로 다른 두 모델이 토론하는 것보다 더 자기 비판적인 성능을 보였다.

주요 내용

• 동일 모델 vs. 이종 모델 토론 결과: GPT+GPT (0.688 평균 점수)는 GPT+Gemini (0.357) 및 Gemini+Mistral (0.512)과 같은 이종 모델 페어링보다 전반적으로 더 높은 점수와 판정률을 기록했다.
• 다양성 가설에 대한 반론: 초기 가설과 달리, 무작위로 선택된 다양한 모델의 조합이 반드시 더 나은 토론 결과를 도출하지는 않았다. 오히려 약한 다양성이 전혀 다양성이 없는 경우보다 성능이 떨어지는 역설적인 결과가 관찰되었다.
• Mistral 모델의 영향: v0.2.1 업데이트에서 Mistral 모델이 포함되지 않은 페어링 (DeepSeek+GPT)이 동일한 모델 페어링 (GPT+GPT)과 유사한 낮은 수렴률을 보였다. 이는 이종성 자체보다 Mistral 모델의 존재 유무가 토론 품질에 더 큰 영향을 미친다는 점을 시사한다.
• 약한 다양성의 문제점: 서로 너무 다르지도, 너무 같지도 않은 모델들이 토론할 때, 서로의 내부 추론 패턴을 쉽게 인식하지 못하면서도 강하고 타당한 주장을 펼쳐 교착 상태에 빠지는 경향을 보였다.
• 동일 모델 페어링의 강점 (가설): 동일한 모델이 자신과 토론할 때, 서로의 오류 패턴을 더 잘 인식하고 이해할 수 있어 결과적으로 더 자기 비판적인 분석이 가능하다고 추측된다. 이는 마치 다음 날 자신의 초안을 편집할 때의 상황과 유사하다.
• Gemini 모델의 특성: Gemini 모델은 토론에서 양보하기보다는 고집하는 경향이 강하게 나타났으며, 이는 생산성이 낮은 토론으로 이어질 수 있음을 보여준다.
• 실험 설계의 교훈: 실험 초기에는 동일 모델 페어링을 단순 통제군으로 설정했으나, 실제 결과에서 중요한 인사이트를 제공하는 요소로 부각되었다. 이는 실험 설계 시 통제군의 중요성을 강조한다.
• 다양성 스펙트럼: 모델 페어링의 다양성은 예상과는 달리 직선적인 성능 향상 곡선을 보이지 않으며, 오히려 중간 수준의 다양성이 가장 낮은 성능을 보일 수 있다는 복잡한 스펙트럼을 나타낸다.
• 격리 아키텍처의 유효성: 동일 모델 페어링에서 충분한 수준의 실제적인 의견 불일치가 관찰된 것은 AdversarialDebate 시스템의 격리 아키텍처가 제대로 작동하고 있음을 간접적으로 증명한다.

시사점

모델 페어링은 단순히 모델의 다양성만으로 결정되는 것이 아니라, 모델 간의 상호작용 방식과 행동을 면밀히 측정하고 설계해야 하는 시스템적 문제임을 강조한다.