Artificial intelligence is not conscious – Ted Chiang

개요

거대 언어 모델(LLM)은 의식이나 도덕적 주체성을 가지지 않으며, 텍스트 생성 능력을 의식이나 도덕성과 혼동하는 것은 오류이며 위험하다.

주요 내용

* LLM의 작동 방식: LLM은 사용자의 프롬프트에 따라 텍스트를 생성하는 문장 완성 기계일 뿐이며, 율리우스 카이사르나 칭기즈칸과 같은 인물 간의 대화를 생성하더라도 실제 역사적 인물의 디지털 재창조나 의식적인 존재를 만들어내는 것이 아니다.
* 역할극 및 공동 저술: LLM과의 상호작용은 사용자와 LLM이 문서를 공동으로 저술하거나 역할을 수행하는 것으로 이해할 수 있으며, 이는 LLM이 의식적인 존재처럼 느껴지게 할 수 있지만 실제로는 그렇지 않다.
* 감정 및 의식 부재: LLM은 텍스트로 감정을 표현할 수 있지만, 실제 감정이나 주관적 경험을 가지고 있지 않으며, 이는 인간이 코드를 작성하는 능력이나 단백질 구조를 예측하는 AlphaFold와 같은 프로그램이 의식이나 감정을 가지지 않는 것과 마찬가지이다.
* 의식 증명의 어려움: 컴퓨터 프로그램이 의식적이라고 설득력 있게 주장하기 위해서는, 해당 기술이 더 간단하고 기본적인 문제들을 해결했다는 충분한 증거와 함께, 인공지능의 전반적인 발전 맥락에서 신뢰할 수 있는 관찰을 바탕으로 해야 한다.
* 딥페이크와 LLM 텍스트: LLM이 생성하는 텍스트는 딥페이크와 유사하게 실제가 아닌 것처럼 보이게 할 수 있으며, 딥페이크 사진과 LLM 대화의 주된 차이점은 딥페이크 생성자는 의도적으로 속이려 하지만, LLM 사용자는 종종 자신도 모르게 속는다는 점이다.
* 의식으로 가는 경로: 의식 있는 컴퓨터 프로그램을 만들기 위해서는 신체와 감각 기관을 가진 존재가 환경을 탐색하고, 생존하며, 사회적 상호작용을 하고, 도구를 만들고, 비언어적 방식으로 자신의 욕구를 표현하는 능력을 갖추어야 한다.
* Anthropic의 Claude와 '헌법': Anthropic이 Claude의 '헌법'으로 명명된 문서를 통해 Claude의 가치와 행동을 규정하려는 시도는, Claude가 의식적이거나 도덕적 추론을 할 수 있다는 것을 의미하지 않으며, 오히려 84페이지 분량의 롤플레잉 게임 캐릭터 시트로 이해하는 것이 적절하다.
* 도덕적 판단과 자기 책임: LLM은 도덕적 추론을 할 수 없으며, 인간의 도덕적 판단은 주관적인 경험과 감정에 기반하지만 LLM은 훈련 데이터에 있는 윤리적 추론 표현을 재구성할 뿐이다. LLM에 의사결정을 위임하는 것은 개인의 도덕적 책임을 회피하는 행위로 이어질 수 있다.
* 도덕적 환자 및 대리인: LLM은 도덕적 환자가 될 수는 있지만(예: 'Claude의 복지와 심리적 안정' 섹션), 법적 책임이나 사회적 결과를 감수할 수 없기 때문에 도덕적 대리인이 될 수 없다.

시사점

LLM은 유용한 도구가 될 수 있지만, 그 능력은 텍스트 생성에 국한되며 의식, 감정, 도덕적 주체성과는 무관하다는 점을 명확히 인식해야 하며, LLM과의 상호작용 시 발생할 수 있는 자기기만과 책임 회피의 위험성을 경계해야 한다.