Meta now alerts parents if their teen discussed suicide or self-harm with its AI chatbot

개요

Meta는 10대 사용자가 Meta AI 챗봇과 자살 또는 자해에 대해 논의할 경우 부모에게 알림을 보내는 새로운 기능을 도입했습니다.

주요 내용

* Meta AI 챗봇은 10대 사용자가 명확하게 자신을 해치려는 의사를 표현하는 대화를 식별하도록 설계된 전용 AI 시스템을 구축했습니다.
* AI가 플래그를 지정한 모든 채팅은 알림 발송 전에 수동으로 검토되며, 10대의 의도가 모호할 경우에도 주의 차원에서 부모에게 알림을 보냅니다.
* 이러한 알림은 현재 미국, 영국, 호주, 캐나다의 Instagram Parental Supervision을 사용하는 부모에게 적용되며, 연말까지 전 세계적으로 확대될 예정입니다.
* 이 업데이트는 10대가 Instagram에서 자살 또는 자해 관련 용어를 반복적으로 검색할 때 부모에게 보내는 기존 알림과, 부모가 10대와 Meta AI 간의 대화 주제를 확인할 수 있는 기능을 확장합니다.
* "Limited Content" 설정이 Meta AI에도 적용되어, 챗봇은 10대와의 성적이거나 로맨틱한 대화, 알코올 관련 토론을 피하도록 훈련되었으며, 이 설정은 더 광범위한 프롬프트를 거부하도록 기능을 확장합니다.
* 사용자가 성인이든 10대이든 상관없이 Meta AI와의 대화에서 자살 위험 징후가 감지될 경우, Meta는 긴급 서비스에 연락할 예정입니다. 이는 Facebook 또는 Instagram 게시물에 대한 기존 대응 방식을 챗봇 대화까지 확장한 것입니다.

시사점

Meta의 이러한 조치는 AI 챗봇이 위기에 처한 사용자, 특히 10대와 어떻게 상호 작용하는지에 대한 규제 당국과 부모의 감시가 증가하는 가운데, AI 기술 설계 및 마케팅에 대한 책임감 있는 접근 방식을 강화하려는 노력의 일환입니다.