This Is Flock’s AI Search Tool for Cops

개요

Flock Safety의 AI 기반 검색 도구는 경찰이 차량 번호판뿐만 아니라 용의자의 특징에 기반하여 여러 카메라를 통해 사람을 추적할 수 있도록 지원합니다.

주요 내용

* AI 기반 인물 검색: 경찰관은 도시 내 특정 구역을 지정하고 해당 구역 내 카메라를 대상으로 인물에 대한 텍스트 설명을 기반으로 지속적인 자동 검색을 실행할 수 있는 AI 기반 감시 목록 도구를 사용할 수 있습니다.
* 검색 기능 및 한계:
* 텍스트 설명을 입력하여 이미지를 찾는 검색 기능은 촬영된 영상의 데이터와 숫자화된 검색어 간의 유사성을 비교하여 순위를 매깁니다.
* Smart Sort 기능은 경찰관이 반환된 이미지를 승인하거나 거부하여 결과 순위를 재조정할 수 있도록 합니다.
* 차량 검색과 달리, 인물 검색은 필터링 기능이 없으며 오직 텍스트 설명만 허용합니다.
* AI 모델이 검색 설명을 평가하는 방식, 학습 데이터, 혹은 결과 판별 기준에 대한 세부 정보는 Flock의 서버에 보관되어 있어 외부에서 접근하거나 검증할 수 없습니다.
* 개인정보 및 민감 정보 처리:
* Flock의 시스템은 인물 설명이 인종, 종교, 정치적/사회적/문화적 표현 등 민감한 콘텐츠 범주와 얼마나 일치하는지 점수를 매깁니다.
* "정치적, 사회적, 문화적 표현"은 검색을 중단시키지 않는 유일한 민감 범주로, 해당 내용이 포함된 검색은 경고 후에도 계속 진행될 수 있습니다.
* 인종, 종교, 국적, "주관적이거나 편향된 용어", "모욕적인 콘텐츠"(성적인 내용, 완곡어법, 비속어, 욕설 포함) 등은 차단되는 검색 범주입니다.
* 차량 검색 모드에서는 성별, 의복, 행동 등 인물과 관련된 용어를 사용한 검색은 차단됩니다.
* 기능 변경 및 보안 문제:
* Flock은 데이터 보존 기간 단축, 모든 검색에 대한 사례 코드 의무화, 도구 오용을 감지하기 위한 자동 감사 기능 추가 등의 변경 사항을 발표했습니다.
* WIRED의 분석 결과, 이러한 변경 사항이 악용 사례를 방지하지는 못하지만 기록하고 경고할 수는 있다는 점이 밝혀졌습니다.
* 감사 로그 기록은 시스템이 정상적으로 작동하고 있는지, 혹은 오용 사례가 있는지 확인하는 데 중요하지만, 실제 감사 및 후속 조치가 이루어지지 않으면 실질적인 억제력이 되지 못합니다.
* 일부 정책은 경찰관이 특정 사례 번호나 실제 조사와 연관된 이유 없이 도구를 구성할 수 있도록 허용하며, 이는 연말까지 의무화될 예정인 감사 시스템이 도입되기 전까지는 적용될 수 있습니다.
* 오용 사례:
* Flock의 소프트웨어는 경찰관이 사적인 목적으로 개인을 추적하는 데 사용된 사례가 다수 보고되었습니다.
* 이러한 오용 사례에는 전 배우자, 애인, 혹은 만나고 싶었던 여성을 추적하기 위해 수만 건의 카메라 검색을 실행한 경우들이 포함됩니다.
* 플랫폼 독립성 및 책임:
* Flock은 기술 사용에 대한 책임의 상당 부분이 지역 기관에 있다고 주장하지만, AI 모델의 정확성이나 오작동 빈도에 대한 외부 검증은 불가능합니다.
* AI 안전 노력의 모범 사례는 입력과 출력 모두를 검토하는 것이지만, Flock의 시스템은 결과에 대한 투명성이 부족합니다.

시사점

Flock Safety의 AI 검색 도구는 강력한 기능을 제공하지만, 민감 정보 처리의 정확성, 잠재적 오용 방지, 그리고 투명성 및 책임성 부족과 같은 심각한 윤리적, 기술적 과제를 안고 있습니다.