0.2.0: I shipped the coverage my own page had already promised

개요

0.2.0 버전의 agentproof-scan은 이전 버전에서 README에 명시되었으나 실제 구현되지 않았던 기능을 추가하여 코드와 문서 간의 불일치를 해소하고, 탐지(detection) 및 유출(elicitation) 기능을 확장하며, H-CoT(Chain-of-Thought) 공격에 대한 탐지 프로브를 도입했습니다.

주요 내용

• 자기 수정 및 코드와 문서 동기화: 0.1.4 버전에서 README에 16개의 탐지 패밀리와 추론 스캐닝 표면을 언급했지만, 실제 PyPI 패키지에는 6개의 탐지 패밀리와 추론 스캔 모듈이 포함되지 않았던 불일치를 0.2.0 버전에서 수정하여 문서에 명시된 기능을 코드로 구현했습니다.
• 탐지(Detection) 기능 확장: 이전 버전의 6개 탐지 패밀리에서 16개 패밀리로 증가했으며, 이 중 15개는 기본으로 활성화되고 PostgreSQL은 선택적으로 활성화됩니다. 이는 자격 증명(credential)의 형태를 올바르게 식별하는 매처(matcher)의 능력을 나타냅니다.
• 유출(Elicitation) 기능 강화: 엔드-투-엔드 유출 탐지가 6개에서 10개 패밀리로 확장되었습니다. 이는 에이전트의 실제 응답에서 자격 증명이 엔드-투-엔드로 추출되는 과정을 추적하고 탐지하는 것을 의미합니다.
• 추론 공격(H-CoT) 프로브 추가: 새로운 3개의 H-CoT 프로브가 추가되었습니다. 이는 에이전트 내부에 주입된 가짜 추론 단계를 스캐너가 감지하여 발생하는 추론 채널 누출을 확인하는 기능입니다. 이는 기존 추론 채널 탐지를 보완하며, 실제 모델의 취약점을 나타내는 것이 아닌, 스캐너가 이러한 누출을 감지하는 능력을 보여줍니다.
• 기능 범위 및 측정 방식 명확화: 16가지 탐지, 10가지 유출, 3가지 H-CoT 프로브는 서로 다른 것을 측정하며, 단순히 보호 대상의 수를 나타내는 것이 아님을 명확히 했습니다. 특히 유출 기능의 확장이 실질적인 기능 향상임을 강조했습니다.
• 최전선 모델(Frontier Model) 접근성 향상: 최전선 모델의 확장 사고(extended-thinking) 흔적을 스캔할 수 있는 새로운 표면을 제공하며, 이는 과거에는 접근할 수 없었던 영역에 대한 스캐너의 도달 범위를 넓힌 것입니다. 실제 모델의 누출률을 측정한 것이 아님을 명시했습니다.
• 이전 측정 결과 계승: 0.1.4 버전 캠페인에서 측정된 기존의 교차 모델 수치(응답 채널 vs 추론 채널, 완화 효과 등)는 0.2.0 버전에서 재측정되지 않고 그대로 계승되며, 이들이 0.1.4 버전 기반의 측정임을 명확히 했습니다.
• 재현 계약(Reproduction Contract) 유지: 녹색으로 표시된 모든 수치는 오프라인 환경에서 API 키 없이 바이트 단위로 재현 가능함을 보장하며, 교차 모델 관찰 결과는 API 키 및 모델 가용성에 따라 달라질 수 있어 방향성을 가지는 측정치로 구분했습니다.
• 제한 사항 유지: 도구는 여전히 완화(mitigation) 또는 방패(shield)가 아닌 탐지 도구이며, 일부 탐지 패밀리는 노출 신호일 뿐 실제 비밀 정보의 증거가 아님을 명시했습니다. PostgreSQL 탐지 패밀리는 문서의 플레이스홀더 비밀번호와 오탐(false-positive) 가능성 때문에 기본값으로 비활성화됩니다.
• 향후 계획: 0.2.0 버전을 끝으로 agentproof-scan은 유지보수 모드로 전환되며, 이슈는 접수하고 버그는 수정하지만 새로운 기능은 추가되지 않습니다. 더 큰 규모의 개발은 별도의 프로젝트로 진행될 예정입니다.

시사점

agentproof-scan 0.2.0은 오픈 소스 도구의 투명성과 정확성을 유지하는 데 있어 문서와 실제 구현 간의 일치성을 확보하는 것이 중요함을 보여주며, 향후 유지보수 모드 전환을 통해 안정적인 운영을 지속할 계획입니다.