The Emergent Symbolic Structure of Artificial Neural Networks

개요

인공 신경망(Artificial Neural Networks)은 겉보기와 달리 내부적으로 기호적 구조(Symbolic Structure)를 암묵적으로 구현하며, 이는 현대 AI 시스템이 전통적으로 기호 기반으로 모델링된 인지 영역에서 뛰어난 성능을 발휘하는 이유를 설명할 수 있습니다.

주요 내용

• 현대 AI 시스템은 전통적인 기호 기반 지능 모델과 달리 연속적인 벡터(Continuous Vectors)를 사용하여 정보를 표현하는 신경망에 기반하지만, 언어, 논리 등 구조화된 영역에서 인상적인 성능을 달성합니다.
• 본 연구는 신경망의 내부 벡터 표현이 기호적 구조에 의해 근사될 수 있음을 보여주며, 신경망의 전체 표현 생성 과정을 닫힌 형태의 방정식(Closed-form Equation)으로 대체해도 네트워크의 행동이 크게 변하지 않음을 입증합니다.
• 이러한 발견은 리스트 조작을 위해 훈련된 소규모 신경망과 산술, 논리, 컴퓨터 코드, 언어 등 상징적 전통의 핵심 영역을 다루는 대규모 언어 모델(LLMs) 모두에 적용됩니다.
• 발견된 기호적 근사를 통해 LLM의 내부 표현에 정밀한 개입을 가함으로써 LLM의 행동을 목표대로 수정할 수 있으며, 이는 LLM의 행동이 식별된 기호적 구조에 의존함을 시사합니다.

시사점

본 연구는 신경망 기반의 현대 AI와 오랜 전통의 기호적 지능 개념을 통합할 수 있는 잠재적인 방법을 제공하며, AI의 작동 원리에 대한 새로운 이해와 제어 가능성을 열어줍니다.