I'm building the trust layer between humans and AI agents

개요

AI 에이전트가 스스로 결정하고 행동하는 자율성이 증대됨에 따라, 인간과 AI 에이전트 간의 신뢰를 구축하기 위한 인프라 구축이 시급해지고 있습니다.

주요 내용

* AI 에이전트의 자율성 증가와 신뢰 인프라의 격차: Claude Code와 같은 AI 에이전트는 파일 읽기, 코드 작성, 명령어 실행, 의사 결정 등 다양한 작업을 수행할 수 있으나, 이러한 행동에 대한 가시성(대시보드, 감사 추적, 비용 정보 등)이 부족하여 신뢰 구축에 어려움이 있습니다.
* 초기 접근 방식: 토큰 가시성 대시보드 구축: Claude Code 사용자를 위한 토큰 사용량 가시성 확보를 목표로, 로컬 기계에서 데이터를 읽어오는 대시보드를 개발했습니다. 이를 통해 실제 사용 비용, 예산의 상당 부분을 차지하는 프로젝트, 캐시 사용 비율 등을 파악할 수 있었습니다.
* AI 신뢰 인프라의 궁극적인 목표: 차량의 안전 및 책임 규명 시스템(운전 면허, 검사, 보험)과 같이, AI 에이전트에도 다음과 같은 신뢰 스택 구축이 필요합니다:
* Identity: 어떤 AI가 작업을 수행했는지 식별
* Permissions: AI가 수행할 수 있는 권한 설정
* Audit trails: 실제 발생한 일들에 대한 감사 추적
* Cost accountability: 작업 비용에 대한 책임 규명
* AgentPass 및 관련 도구: 구축 중인 대시보드는 감사 추적 계층을 담당하며, AgentPass는 신원 및 권한 계층을 제공하여 AI 신뢰 인프라의 기초를 마련합니다.
* 시급성: AI 에이전트가 단순한 편리함을 넘어 실제 결정을 내리고 이메일을 보내거나 주문하는 단계에 이르렀기에, 인간이 AI의 행동을 이해하고 검증하며 신뢰할 수 있는 인프라 구축이 중요합니다.

시사점

AI 에이전트의 자율성이 증가하는 시대에, 인간이 AI의 행동을 투명하게 이해하고 신뢰할 수 있도록 지원하는 신뢰 인프라 구축은 선택이 아닌 필수가 되고 있습니다.