Truth is not a direction: a Tarski attack on LLM probes

개요

언어 모델의 임베딩 공간에서 진실을 특정 방향으로 표현하려는 시도는 타르스키(Tarski)의 진실 개념 역설을 통해 근본적인 한계에 직면하며, 보편적인 진실 탐지기(truth probe)는 존재할 수 없음이 논증됩니다.

주요 내용

• 선형 표현 가설과 진실 방향: LLM은 입력 텍스트를 벡터로 인코딩하며, 성별, 수도 등과 같은 개념이 임베딩 공간의 특정 방향에 대응한다는 '선형 표현 가설'이 존재합니다. 더 나아가 '진실' 역시 이러한 방향으로 표현될 수 있다는 가설이 탐구되고 있으며, 이는 AI 안전 연구에서 AI 시스템의 진실성 판단에 중요하게 활용될 수 있습니다.
• 타르스키의 역설과 자기 참조: 수학의 괴델(Gödel)의 불완전성 정리와 유사하게, 타르스키는 충분히 표현력이 풍부한 언어는 스스로의 진실 술어(truth predicate)를 완전히 포함할 수 없다는 역설을 제시했습니다. 이는 자기 참조(self-reference)가 역설을 생성할 수 있음을 보여줍니다.
• LLM의 자기 참조 가능성: 트랜스포머 기반 LLM은 입력과 동일한 재료(자연어)로 구성되며, 개념을 표현하는 방향을 자연어로 입력받을 수 있어 자기 참조적인 상황을 만들 수 있습니다.
• 대각선 공격 (Diagonal Attack): "이 문장의 진실 탐지기 점수는 FALSE로 평가됩니다."와 같은 자기 참조 문장을 진실 탐지기에 적용하면, 문장이 참이면 거짓으로, 거짓이면 참으로 평가되는 역설이 발생합니다. 이는 모델의 표현 공간에서 정의된 보편적인 진실 탐지기는 존재할 수 없음을 의미합니다.
• 실험적 검증: Qwen3.5-4B 모델에 대한 간단한 진실 탐지기 실험에서, 일반적인 문장에서는 높은 정확도를 보였으나, 대각선 공격 문장에서는 비논리적인 결과가 나타났습니다.
• 고정점 해결 시도: 진실 값을 {0, 1}에서 [0, 1] 구간으로 확장하고 연속 함수를 적용하여 거짓말쟁이 역설(liar paradox)을 해결하려는 시도(예: x = 1-x의 해 1/2)는 가능하지만, 이는 표현력의 제약을 가져오며 모든 종류의 대각선 공격을 막지는 못합니다.
• 실용적 유용성: 비록 보편적인 진실 탐지기는 불가능하지만, 진실 탐지기는 모델의 행동을 이해하고 잘못된 행동을 조기에 발견하는 데 유용할 수 있습니다. 수학이 불결정성이나 진실의 정의 불가능성으로 인해 심각하게 저해되지 않았듯이, AI 정렬 연구에서도 진실이 임베딩 공간의 특정 방향이 아니라는 사실이 발전을 막지는 않을 것입니다.

시사점

LLM의 임베딩 공간에서 진실이 단일 방향으로 명확하게 표현될 수 없다는 결론은, AI가 객관적 진실을 나타내는 '진실 기계'가 될 수 있다는 희망에 대한 근본적인 한계를 제시하며, AI 안전 및 정렬 연구에서 자기 참조적 역설에 대한 이해와 모델 행동 분석의 중요성을 강조합니다.