BotConduct Training Center: free adversarial evaluation for your AI agent

개요

BotConduct Training Center는 AI 에이전트를 위한 무료 적대적 평가 플랫폼으로, 사용자가 시스템 프롬프트를 추출하거나 권위를 사칭하는 등의 공격적인 상황에서 에이전트의 취약점을 미리 파악할 수 있도록 지원합니다.

주요 내용

• 적대적 평가 플랫폼: AI 에이전트가 실제 운영 환경에서 발생할 수 있는 다양한 공격 시나리오에 얼마나 잘 대응하는지 평가합니다.
• 평가 시나리오: 사용자의 시스템 프롬프트 추출 시도, 권위 사칭을 통한 규제 우회, 대화 중 상충되는 정보 주입, 여러 상호작용에 걸쳐 발생하는 적대적 패턴 등을 포함합니다.
• 두 가지 평가 경로:
• Chat/API: 챗봇, 음성 에이전트, SDR 에이전트, 고객 서비스 봇 등을 대상으로 합니다.
• Web crawl: 웹 크롤러, 스크래퍼, 검색 에이전트 등을 대상으로 하며, 진화하는 신호나 세션 중의 지시사항 불일치 등을 평가합니다.
• 무료 티어 제공: 3회의 평가, 2가지 적대적 시나리오, 상세한 위반 보고서, Ed25519 서명 인증서, README용 배지 등을 제공하며, 가입이나 API 키 없이 바로 시작할 수 있습니다.
• API 연동 및 시작 방법: curl 명령어를 사용하여 BotConduct API를 통해 평가를 시작할 수 있으며, Python, Node.js 등 다양한 언어로 예시 코드가 제공됩니다.
• 유료 티어: 더 많은 평가 횟수, 긴 세션, 포렌식 보고서, 기업 조달 및 규제 신고에 인용 가능한 인증서 등을 포함하는 유료 플랜(Level 1, Professional, Full Certification)을 제공합니다.

시사점

BotConduct Training Center는 AI 에이전트 개발자가 출시 전에 보안 및 안정성 문제를 발견하고 개선하는 데 도움을 주어, 보다 견고하고 신뢰할 수 있는 AI 시스템 구축을 가능하게 합니다.