I Met With China’s Top AI Experts. They’re Freaking Out, Too

개요

중국 최고 AI 전문가들과의 만남에서 AI의 사이버 보안 및 시스템적 위험에 대한 심각성이 강조되었으며, 미국과 중국 간의 협력이 시급하다는 공감대가 형성되었다.

주요 내용

* AI 기술 발전의 양면성: 재귀적 자기 개선, 휴머노이드 로봇 등 AI 기술의 급속한 발전이 이루어지고 있지만, 동시에 AI 시스템의 취약점, 에이전트형 모델의 악용 가능성 등 잠재적 위험도 커지고 있다.
* 미중 AI 경쟁과 협력의 필요성: 미국은 중국의 AI 발전을 경제 및 국가 안보 위협으로 간주하고 칩 규제 등 견제 정책을 펼치고 있으나, AI의 글로벌 위험성을 고려할 때 양국의 협력이 필수적이라는 인식이 전문가들 사이에서 나타나고 있다.
* AI 관련 사이버 위협의 보편성: AI 생성 코드의 취약점, 에이전트형 도구 사용을 통한 시스템 공격, 자동화된 사회 공학적 공격 등 AI 기술 발전과 함께 나타나는 사이버 위협은 국경을 초월하는 보편적인 문제로 인식되고 있다.
* 보안 강화와 기술 공유의 균형: 해커들의 이점 증가 예상 속에서도 AI를 활용한 새로운 방어책이 등장할 것으로 전망되며, 국가 간 위험 인식 공유를 통해 안전 원칙 및 기술 표준 개발이 용이해질 수 있다. 다만, 민감한 운영 정보 노출 없이 시스템적 위험을 줄이는 방안 모색이 중요하다.
* 오픈 소스 모델의 위험과 기회: 오픈 가중치(open-weight) 모델은 연구 및 혁신에 필수적이지만, 발전함에 따라 해커들이 보안 취약점을 찾는 데 도움을 주거나 사이버 무기로 사용될 가능성에 대한 우려가 커지고 있다.

시사점

AI 기술의 무분별한 개발 경쟁보다는 글로벌 위험에 대한 인식을 공유하고 협력하여 AI의 잠재적 위험을 완화하고, 안전한 AI 발전을 도모하는 것이 중요하다.