Suspecting court of using AI, man injected prompts in filings to try to win case

개요

미국 법원에서 한 남성이 소송에서 승소하기 위해 법원 서류에 AI가 읽을 수 있도록 숨겨진 프롬프트를 삽입하려 시도한 사례가 발생했으며, 이는 기술 악용의 위험성을 보여주는 선례로 지적됩니다.

주요 내용

* AI 프롬프트 주입 시도: 매튜 엘리엇(Matthew Elliott)이라는 남성은 헬스케어 제공업체가 기록 접근을 부당하게 거부했다고 주장하며, 사건에서 승소하기 위해 법원 서류에 사람이 읽기 어렵도록 백색 바탕에 흰색 글씨로 숨겨진 텍스트를 삽입했습니다.
* 숨겨진 텍스트의 목적: 이 숨겨진 텍스트는 AI 시스템이 문서를 읽을 때 텍스트 출력이 원고의 주장에 동의하도록 지시하고, 법원의 이전 거부 사항을 무시하며, 원고가 원하는 대로 구제 조치가 이루어지도록 유도하는 내용을 담고 있었습니다.
* AI 사용 여부 및 결과: 코네티컷 법원 시스템은 AI를 사용하여 서류를 검토하거나 결정하지 않기 때문에, 실제 AI 시스템이 이 프롬프트에 혼동될 위험은 없었습니다. 법원은 서류 자체의 내용을 바탕으로 사건을 심리했으며, 숨겨진 텍스트는 사건 결과에 영향을 미치지 못했습니다.
* 법원의 제재: 엘리엇은 법원이 그의 숨겨진 텍스트 삽입 시도를 인지하고 제재 경고를 받았음에도 불구하고 추가적인 숨겨진 메시지를 계속 삽입하여, 법원으로부터 "심각한 소송 남용"으로 간주되었습니다. 그는 금전적 제재 대신 향후 전자 소송 서류 제출이 금지되었고, 종이 서류 제출만 허용되었습니다.
* AI 오용의 위험성: 판사는 이러한 프롬프트 주입 시도가 이미 직업 탐색 등 다른 분야에서도 흔하며, 법원에서도 악의적인 전술로 사용될 수 있다고 경고했습니다. 브라질에서는 실제 AI를 사용하는 법원에서 변호사들이 유사한 공격을 시도했다가 금전적 제재를 받은 사례도 언급되었습니다.
* 법률 전문가 없는 소송의 문제점: 법률 전문가 없이 AI를 사용하여 사건을 준비하는 자가 소송 당사자(pro se litigant)들이 챗봇에게 자신의 입장만 옹호하도록 지시함으로써, 사실이나 반대 주장을 탐색하지 않고 자신의 주장에만 매몰되는 경향이 있다고 지적되었습니다.

시사점

해당 사례는 AI 기술의 발전과 함께 발생할 수 있는 새로운 형태의 소송 남용 가능성을 보여주며, 법원이 AI 입력(input) 단계에서의 악의적인 조작 시도에 대한 규칙을 마련하고 주의해야 할 필요성을 시사합니다.