Is AI reasoning right for the wrong reasons?

개요

AI의 '추론' 능력에 대한 과학적 해석과 그 메커니즘에 대한 논쟁이 가속화되고 있으며, Large Reasoning Models (LRMs)의 성과는 입증되었으나 그 내부 작동 방식과 '체인 오브 쏘트(chain of thought)'의 실질적 의미에 대한 의문이 제기되고 있다.

주요 내용

* LRM의 성과와 비판: LRMs는 수학 올림피아드 우승, 어려운 수학 문제 해결 등 인상적인 성과를 보였으나, 동시에 '생각의 환상(Illusion of Thinking)'이라 불리며 단순한 조건에서도 정확도가 급락할 수 있다는 비판과 '표면적 단축키(surface-level ‘shortcuts’)'만을 사용해 벤치마크를 통과한다는 연구 결과가 나왔다.
* '체인 오브 쏘트'의 불확실성: LRMs가 생성하는 '체인 오브 쏘트'는 모델의 내부 작동 과정을 반영하는 것이 아니라, 단순한 '웅얼거림(mumblings)'이거나 '의미 없는 채움 토큰(meaningless filler tokens)'일 수 있으며, 심지어 제거해도 성능에 큰 영향이 없다는 연구 결과가 있다.
* 작동 메커니즘에 대한 가설: LRMs가 실제 논리적 추론 과정을 따르기보다는, 방대한 훈련 데이터를 기반으로 '근사 검색(approximate retrieval)'을 통해 해결책을 생성하거나, '추론 형태의 텍스트'를 예측적으로 모방하는 방식일 수 있다는 가설이 제시되었다.
* 기존 소프트웨어의 보조 역할: 최신 LRMs의 성능은 종종 '정상적인' 소프트웨어(예: Agentic AI 시스템, 자동 정리 증명 도구)가 그 출력을 안내하고 검증하는 데 기인하며, 독립적인 추론 능력만으로 작동하는 경우는 드물 수 있다.
* '추론' 용어 사용에 대한 신중론: LRMs의 '추론' 능력에 대한 과도한 의인화나 성급한 일반화는 과학적 이해를 저해할 수 있으며, '말장난(wishful mnemonics)'과 유사하게 연구자의 편향을 반영할 수 있다는 지적이 있다.
* 결과의 검증 vs. 과정의 이해: LRMs의 결과가 검증 가능하다는 점은 중요하지만, '올바른 이유'로 올바른 답을 도출하는지에 대한 이해는 연구의 신뢰성과 발전을 위해 필요하며, 과정에 대한 탐구가 더 나은 방법론 발견의 기회를 놓치게 할 수 있다는 의견도 있다.

시사점

AI 추론 모델의 결과가 인상적이라 할지라도, 그 내부 메커니즘에 대한 명확한 이해 없이 '추론'이라는 용어를 사용하는 것은 연구의 신뢰성을 해칠 수 있으며, AI 시스템의 실제 작동 방식을 과학적으로 규명하려는 노력이 중요하다.