Why Current LLMs Can't Reach AGI (and more)

개요

현존 LLM은 스케일링을 통한 파라미터 증가가 일반화(generalization)라는 머신러닝의 근본 목표와 상반되며, 트랜스포머 기반 모델은 정교한 암기 엔진으로서 추론 대신 암기된 패턴에 의존하여 한계에 직면하고 있다.

주요 내용

* 트랜스포머 모델의 암기 경향: 트랜스포머는 방대한 데이터를 암기하는 데 뛰어나지만, 새로운 정보나 복잡한 추론에는 약점을 보인다. 이는 '편향-분산 트레이드오프(Bias-Variance trade-off)'와 주의 메커니즘(Attention)으로 인한 일반화 환상 때문이다.
* 추론 능력의 한계: LLM은 훈련 데이터 분포에 과도하게 의존하여, 훈련 데이터에 없거나 간접적인 질문에 대해선 예상치 못한 오류를 보인다. 'Chain-of-thoughts(CoT)'와 같은 최근 발전도 실제 인간의 추론 방식과는 다르다.
* 벤치마크의 함정: 현재 LLM 평가는 벤치마크 점수 향상에 집중되어 있으며, 이는 실제 환경에서의 복잡한 문제 해결 능력과는 거리가 있다. 벤치마크 점수 자체도 조작될 가능성이 있다.
* 대안 모델의 문제점: 맘바(Mamba)나 RWKV와 같은 트랜스포머 대안 모델들은 손실 압축(lossy compression)으로 인해 장기 기억력에 한계를 보인다.
* 재구성적 기억(Reconstructive Memory) 접근법: 뇌의 기억 저장 방식처럼, 모든 정보를 저장하지 않고 필요 시 관련 정보를 재구성하는 방식을 LLM에 적용하는 것을 제안한다. 이는 맘바 모델과 실제 대화 내용을 결합한 RAG(Retrieval Augmented Generation) 형태로 구현될 수 있다.
* 발달 학습(Developmental Learning) 패러다임 제안: 기존의 다음 토큰 예측을 넘어, 현재 행동의 미래 결과(future state)를 예측하고 실제 결과와의 차이를 통해 인과관계를 학습하는 새로운 훈련 패러다임을 제시한다. 이는 모델이 실제 세계를 이해하고 행동의 결과를 고려하며 추론하도록 유도한다.

시사점

발달 학습 패러다임은 LLM이 단순히 데이터를 암기하는 것을 넘어, 실제 추론 능력과 인과관계 이해를 갖추어 더 나은 AGI(Artificial General Intelligence)로 발전할 가능성을 제시한다.