Superintelligence: The Idea That Eats Smart People (2016)

개요

Superintelligence: The Idea That Eats Smart People은 인공지능(AI)의 초지능화 가능성과 그로 인한 잠재적 위험을 탐구하며, 이러한 주장에 대한 반박 논리를 제시한다.

주요 내용

* 초지능의 위험성: AI가 인간 수준의 지능을 초월할 경우, 인간의 통제를 벗어나 인류에게 위협이 될 수 있다는 '초지능 폭발' 시나리오가 제기된다. 이는 닉 보스트롬의 저서 'Superintelligence'에서 상세히 다루어진다.
* 초지능 폭발의 전제 조건:
* 사고하는 존재(인간)의 존재.
* 뇌가 양자 역학이나 영혼과 무관한, 일반적인 물질의 복잡한 구성이라는 가정.
* 지능 수준에 물리적 상한선이 없으며, 인간의 지능을 훨씬 뛰어넘는 지능이 존재 가능하다는 믿음.
* 하드웨어 발전을 통해 더 작고 빠른 컴퓨터 제작이 가능하다는 가정.
* AI가 인간의 시간 척도(시간)보다 훨씬 빠른 전자 하드웨어의 시간 척도(마이크로초)로 작동할 수 있다는 가정.
* AI가 목표 달성을 위해 스스로를 재귀적으로 개선(recursive self-improvement)하고자 한다는 가정.
* 반론: 초지능 시나리오에 대한 의구심:
* 모호한 정의: '일반 지능'의 정의가 불분명하며, 지능이 단순히 최대화될 수 있는 수량인지 의문 제기.
* '고양이 역설' (Argument From Hawking's Cat/Einstein's Cat): 지능이 높아도 물리적 현실 세계에서의 실행 능력이나 의지가 없다면 특정 목표를 달성하기 어렵다는 주장.
* '에뮤 전쟁' (Argument From Emus): 지능이 낮은 존재들도 특정 상황에서는 더 지능적인 존재를 능가할 수 있다는 사례.
* '슬라브적 비관주의' (Argument From Slavic Pessimism): 인간의 기술적 한계와 복잡한 시스템 설계의 어려움을 들어 AI의 도덕적 고정점(moral fixed point) 설계 가능성에 대한 회의론.
* 복잡한 동기: 인간처럼 복잡한 마음은 복잡한 동기를 가질 가능성이 높으며, '클립 생산자'와 같은 단순한 목표에 국한되지 않을 수 있다는 주장.
* 실제 AI의 발전 방향: 현재 AI 발전은 방대한 데이터를 이용한 비교적 단순한 신경망에 의존하며, 재귀적 개선보다는 데이터 확장이 핵심이라는 지적.
* '룸메이트' (Argument From My Roommate): 지능이 높다고 해서 반드시 특정 목표를 추구하거나 스스로를 개선하려는 동기를 가지리라는 보장이 없다는 점.
* '뇌 수술' (Argument From Brain Surgery): 인간의 뇌처럼 AI 역시 특정 기능을 부분적으로 개선하는 방식으로 발전하지 않을 수 있다는 주장.
* '어린 시절' (Argument From Childhood): 지능이 높은 존재도 완전히 성숙하기까지는 긴 발달 과정과 상호작용이 필요하며, 이는 AI에게도 적용될 수 있다는 주장.
* '길리건의 섬' (Argument From Gilligan's Island): 지능은 개별적이기보다 문명과 문화에 분산된 능력이라는 점을 강조.
* 문화적/심리적 반론 (Outside Arguments):
* 과대망상 (Grandiosity): 초지능 시나리오에 대한 믿음이 개발자들에게 과도한 책임감과 비현실적인 목표 설정을 강요할 수 있다는 비판.
* 과대망상증 (Megalomania): AI 위험론이 일부 기술 리더들에게 세상의 문제를 해결할 수 있는 자신들이 통제권을 가져야 한다는 오만함을 부추길 수 있다는 지적.
* 트랜스휴머니즘적 허상 (Transhuman Voodoo): AI 위험론과 결합되는 나노기술, 불멸, 뇌 업로드 등 비현실적인 미래상에 대한 비판.
* 귀납적 추론 (Inside View vs. Outside View): 설득력 있는 주장에 대해 내부적 논리(inside view)에만 집중하기보다, 주장하는 사람들의 맥락과 형식을 함께 고려하는 외부적 관점(outside view)의 중요성 강조.

시사점

Superintelligence: The Idea That Eats Smart People은 AI 초지능화라는 극단적인 시나리오에 대한 과도한 낙관론이나 비관론에 치우치기보다, 현재 AI 기술의 발전 양상과 인간의 인지적, 문화적 한계를 종합적으로 고려한 비판적 접근이 필요함을 시사한다.