AI models flub these intelligence tests. Can you fare any better?

개요

AI 모델들은 공간 추론, 기억 및 적응, 추상적/시각적 추론, 직관, 복잡성 증가에 따른 추론 등 다양한 지능 테스트에서 여전히 인간보다 뒤처지는 모습을 보인다.

주요 내용

* 공간 추론: AI 모델은 3D 객체를 조작하거나 다양한 각도에서 동일한 객체를 인식하는 등 인간의 강점인 공간 추론 능력에서 취약점을 보인다.
* 기억 및 적응: LLM은 방대한 데이터를 기억하지만, 훈련 데이터와 유사한 문제의 미묘한 차이를 간과하여 오류를 범할 수 있다. 예를 들어, 기사나 수수께끼와 같이 훈련 중에 본 문제와 유사한 경우, AI는 암기한 내용을 바탕으로 답할 가능성이 높다.
* 추상 및 시각적 추론: AI는 2차원 문제에서도 어려움을 겪으며, 특히 ARC-AGI와 같은 추상 규칙 추론에서 복잡하거나 일반화되지 않은 규칙을 사용하여 답을 찾는 경우가 많다.
* 직관: 인간은 직관에 기반한 빠른 판단으로 오류를 범하기도 하지만, AI는 이러한 인간 고유의 인지적 약점을 공유하지 않아 특정 문제에서 다른 반응을 보인다.
* 복잡성 증가: AI는 간단한 버전의 퍼즐(예: 타워 오브 하노이, 강 건너기 퍼즐)은 잘 해결하지만, 문제의 복잡성이 증가함에 따라(예: 디스크 또는 인원 수 6개 이상) 오류를 보이기 시작한다. 논리 그리드 퍼즐에서도 비슷한 어려움을 겪는다.

시사점

이러한 테스트 결과는 AI 모델의 현재 능력과 한계를 파악하는 데 도움을 주며, 인간의 인지 능력과 AI의 연산 능력 간의 차이를 이해하는 데 중요한 통찰을 제공한다.