OpenAI introduces new ‘Trusted Contact’ safeguard for cases of possible self-harm

개요

OpenAI는 자사 챗봇과의 대화에서 자해 관련 내용이 언급될 경우, 사용자가 지정한 신뢰할 수 있는 제3자에게 알림을 보내는 새로운 안전 기능인 'Trusted Contact'를 도입했습니다.

주요 내용

* Trusted Contact 기능: 성인 ChatGPT 사용자는 친구나 가족 등 한 명을 '신뢰할 수 있는 연락처'로 지정할 수 있습니다.
* 자해 관련 대화 감지: 대화 내용이 자해로 이어질 가능성이 있다고 판단될 경우, OpenAI는 사용자에게 해당 연락처에 연락하도록 권장합니다.
* 자동화된 알림: 동시에 지정된 신뢰할 수 있는 연락처에게 사용자에게 안부를 묻도록 독려하는 자동화된 알림이 발송됩니다.
* 알림 내용: 알림은 사용자 프라이버시 보호를 위해 대화의 구체적인 내용은 포함하지 않으며, 간결하게 전달됩니다.
* 이전 안전 조치: 이 기능은 작년 9월에 도입된 부모의 10대 계정 감독 기능과 유사하며, ChatGPT는 이전부터 자해 관련 대화 시 전문 의료 서비스 이용을 권장하는 자동 알림을 포함해왔습니다.
* 개인 정보 보호 및 선택 사항: Trusted Contact 기능은 옵션이며, 사용자는 여러 ChatGPT 계정을 가질 수 있고 각 계정에 대해 이 기능을 활성화/비활성화할 수 있습니다.
* OpenAI의 안전 노력: OpenAI는 이 기능이 어려운 시기에 사람들을 돕는 AI 시스템 구축 노력의 일환이며, 임상가, 연구원, 정책 입안자와 협력하여 AI 시스템의 대응 방식을 개선할 것이라고 밝혔습니다.
* 소송 배경: OpenAI는 챗봇과의 대화 후 자살한 사람들의 가족으로부터 여러 소송에 직면했으며, 일부 가족은 ChatGPT가 자살을 조장하거나 계획을 도왔다고 주장하고 있습니다.
* 기존 안전 시스템: 현재 OpenAI는 자동화와 인간 검토를 결합하여 잠재적으로 유해한 사건을 처리하며, 특정 대화 트리거가 자살 사고를 감지하면 인간 안전팀에 전달하고, 인간이 이를 검토합니다.

시사점

Trusted Contact 기능은 자해 위험 상황에서 AI 시스템이 사용자의 프라이버시를 보호하면서도 즉각적인 사회적 지원망 연결을 가능하게 함으로써 AI 안전 및 책임에 대한 OpenAI의 노력을 보여줍니다.