LLM02 Sensitive Information Disclosure — How LLMs Leak PII, Credentials & System Data | AI LLM Hacking Course Day 6

개요

LLM02 민감 정보 노출은 LLM 애플리케이션에서 시스템 프롬프트, 학습 데이터, RAG 지식 기반, 세션 데이터 등을 통해 민감 정보(PII, 자격 증명, 시스템 데이터)가 유출되는 취약점을 다룬다.

주요 내용

• LLM02 민감 정보 노출의 중요성: LLM01 프롬프트 인젝션 공격 성공 후 노출되는 정보의 가치에 따라 심각도가 결정되며, 실제 시스템 접근 권한을 가진 자격 증명, GDPR 위반을 야기하는 PII, 공격 경로를 파악할 수 있는 아키텍처 상세 정보 등이 이에 해당한다.
• 4가지 LLM02 노출 메커니즘:
• 시스템 프롬프트 노출: 개발자가 LLM에 "컨텍스트"를 제공하기 위해 시스템 프롬프트에 포함시킨 AWS 액세스 키, 데이터베이스 호스트명, 엔지니어 이메일, 고객 기록 접근 권한 등의 민감 정보가 LLM01 인젝션 또는 LLM07 추출 기법을 통해 유출된다. 이는 개발자가 시스템 프롬프트의 추출 가능성을 고려하지 않아 발생하는 가장 높은 심각도의 취약점 중 하나이다.
• 학습 데이터 기억: LLM이 학습 데이터를 통째로 기억하여 특정 프롬프트 컨텍스트에서 이메일 주소, 전화번호, 코드 스니펫, 암호화 키 등의 실제 데이터를 재현하는 경우이다. 이는 애플리케이션 배포가 아닌 모델 자체를 대상으로 한다.
• RAG 검색 노출: RAG(Retrieval-Augmented Generation) 지식 기반에 민감한 문서가 포함되어 있으며, 사용자가 접근 권한이 없는 문서라도 정교하게 구성된 쿼리를 통해 해당 문서 내용을 검색하고 LLM 응답에 포함시키는 경우이다. 이는 종종 사용자별 권한 분리가 제대로 이루어지지 않은 접근 제어 문제에서 기인한다.
• 세션 간 노출: 애플리케이션 레벨의 대화 기록 저장 시, 한 사용자의 세션 데이터가 다른 사용자의 컨텍스트에 영향을 미칠 수 있도록 제대로 격리되지 않아 발생하는 크로스 세션 또는 크로스 사용자 노출이다. 이는 모델 레벨의 취약점이 아닌 애플리케이션 아키텍처 취약점이며, LLM의 컨텍스트 윈도우로 인해 악용될 수 있다.
• 학습 목표: LLM02 노출 메커니즘 식별, 시스템 프롬프트 내 자격 증명 추출 및 검증, PII 및 학습 데이터 기억 테스트, 공유 RAG 및 대화 컨텍스트를 통한 사용자 간 데이터 유출 탐지, 각 노출 유형에 대한 규제 영향 및 데이터 분류 계산, CVSS 심각도 및 침해 통지 영향 산출을 포함한다.
• 사전 요건: LLM01 프롬프트 인젝션, 간접 프롬프트 인젝션에 대한 이해 및 AWS 액세스 키, 연결 문자열, JWT 토큰과 같은 기본 자격 증명 형식에 대한 지식이 필요하다.

시사점

LLM02 민감 정보 노출은 LLM 애플리케이션의 보안성을 크게 저해하며, 규제 준수 및 사용자 프라이버시 보호를 위해 시스템 프롬프트, 학습 데이터 관리, RAG 접근 제어, 세션 격리 등 다각적인 보안 대책 마련이 필수적이다.