AI isn’t enough to protect social media communities from AI

개요

AI 기반 소셜 미디어 콘텐츠 모더레이션 시스템은 머신러닝 분류기를 사용하여 플랫폼 규칙을 위반하는 콘텐츠를 식별하지만, 풍자, 비꼬는 말투, 속어의 미묘한 차이를 이해하는 데 어려움이 있으며, 특히 소외된 그룹에 불균형적으로 영향을 미칠 수 있습니다.

주요 내용

* AI 모더레이션 시스템은 종종 반대 발언, 언어 재확립, 혐오 발언에 대한 응답에서 발생하는 '오탐(false-positives)'으로 인해 소외 계층의 커뮤니티를 부당하게 검열하거나 침묵시킬 수 있습니다.
* AI 모더레이터는 인간 모더레이터가 혐오적이거나 폭력적인 수사를 사용하는 사용자를 차단할 기회를 박탈하여 커뮤니티 자체의 모더레이션 효과를 약화시킬 수 있습니다.
* Reddit은 인간 모더레이터에게 규칙 적용 여부, 자동 시행 규칙 선택, 규칙 트리거 시 처리 방식 결정, 경험 미리 보기, 로그 검토 등에 대한 더 많은 제어를 제공하는 Rules Hub 도구의 테스트를 확장하고 있습니다.
* 생성형 AI의 급증으로 커뮤니티별 또는 플랫폼별 규칙을 위반하는 콘텐츠가 증가했으며, 이는 사용자 기여에 의존하는 소셜 미디어 사이트에 심각한 문제를 야기합니다.
* AI 모더레이션은 기술 자체만으로는 해결책이 될 수 없으며, 인간의 입력 감소는 후퇴이며, 머신 스케일 감지와 인간의 판단 및 전문성을 결합한 강력한 접근 방식이 필요합니다.

시사점

AI 기술의 발전에도 불구하고, 소셜 미디어 커뮤니티의 효과적인 콘텐츠 모더레이션은 AI의 한계를 보완하고 취약한 그룹을 보호하기 위해 인간의 판단과 전문성을 최전선에 두는 것이 필수적입니다.