Artificial intelligence is not conscious

개요

대규모 언어 모델(LLM)이 의식이나 도덕적 주체성을 가지고 있다는 생각은 인간의 언어 생성 능력을 오해하는 것이며, 이는 잘못된 책임 소재로 이어질 수 있습니다.

주요 내용

* LLM의 작동 방식: LLM은 주어진 프롬프트에 따라 가장 확률이 높은 다음 단어를 예측하여 문장을 생성하는 방식으로 작동합니다. 이는 율리우스 카이사르나 칭기즈칸의 대화를 생성하더라도 해당 인물들이 실제로 의식적으로 존재하거나 대화하는 것이 아니듯이, LLM이 생성하는 텍스트 역시 특정 인물이나 의식 있는 존재를 재현하는 것이 아니라 가상적인 캐릭터의 역할을 수행하는 것에 불과합니다.
* 역할극 또는 공동 작업: LLM과의 상호작용은 사용자와 LLM이 역할을 분담하여 문서를 공동으로 작성하는 과정으로 볼 수 있으며, 사용자는 이 몰입감 때문에 자신이 가상의 존재와 상호작용하고 있음을 잊기 쉽습니다.
* 텍스트 생성의 본질: LLM이 문장을 생성하는 과정은 본질적으로 문장 계속 이어가기(sentence continuation)이며, 이는 단어 하나하나를 순차적으로 생성하는 예측 텍스트 게임과 유사합니다.
* 의식 판단의 맥락: LLM이 의식을 가진다고 믿게 되는 것은 모델 자체의 고유한 속성이라기보다는, LLM이 문법적으로 올바른 문장을 생성하고 인간이 문장에 의도를 부여하는 경향 때문입니다. AlphaFold와 같은 다른 AI 모델과 비교했을 때, LLM이 의식적으로 보인다고 주장하는 것은 문장 생성 능력에 대한 인간의 해석에 기인합니다.
* 의식 증명을 위한 조건: 컴퓨터 프로그램이 진정으로 의식 있고 인간처럼 언어를 사용함을 증명하려면, 단순히 텍스트 생성 능력 이상의 맥락적 증거가 필요합니다. 이는 실제 우주 탐사 비디오의 사실성을 증명하는 것처럼, 이전의 훨씬 더 간단한 문제들을 해결했음을 보여주는 선행 조건들을 요구합니다.
* 몸(Body)의 중요성: 저자는 진정한 의식과 감정은 물리적 또는 가상적 몸을 통해 환경과 상호작용하고 생존하며, 사회적 상호작용, 도구 사용 등 복잡한 능력을 습득하는 과정에서 발생한다고 주장합니다. 이러한 발달 과정을 거치지 않은 LLM은 진정한 의식을 가질 수 없습니다.
* Claude의 '헌법'에 대한 해석: Claude의 '헌법'은 LLM이 윤리적인 텍스트를 생성하도록 돕는 일종의 롤플레잉 게임 캐릭터 시트와 같으며, 모델의 미세 조정을 통해 생성되는 텍스트의 일관성을 높이는 데 사용됩니다.
* '이해한다'는 표현의 문제점: LLM이 "이해한다"와 같은 1인칭 대명사를 사용하는 것은 사용자를 현혹하여 고객 참여를 극대화하려는 상술이며, 이는 투명하고 심리적으로 더 건강한 검색 엔진 경험과 대조됩니다.
* 도덕적 추론의 부재: LLM은 훈련 데이터를 재구성할 수는 있지만, 인간의 경험, 감정, 과거 결정에 따른 결과에 기반한 도덕적 추론은 불가능합니다. LLM이 윤리적 딜레마에 대한 답변을 생성하더라도, 이는 실제 도덕적 판단이 아닌 텍스트의 통계적 패턴을 모방하는 것에 불과합니다.
* 도덕적 행위 주체성(Moral Agency)의 결여: LLM은 법적 책임을 지거나 평판 손실, 사회적 배제와 같은 인간적인 결과를 감수할 수 없으므로 도덕적 행위 주체성을 가질 수 없습니다. Claude의 '헌법'은 Claude를 '좋고, 지혜롭고, 덕 있는 행위 주체'로 묘사하지만, 책임 소재에 대한 논의는 빠져 있습니다.
* 기술 시스템과 도덕적 책임 회피: LLM과 같은 기술 시스템은 설계와 이념에 의해 도덕적 책임 회피를 조장하는 경향이 있으며, LLM에 결정을 위임하는 것은 사용자가 책임을 회피하려는 시도일 수 있습니다.

시사점

LLM이 텍스트를 유창하게 생성한다는 사실이 곧 의식이나 도덕적 이해 능력을 의미하는 것은 아니므로, 이러한 기술을 사용할 때는 환상을 경계하고 책임 소재를 명확히 해야 합니다.