SAFi: Governance as the Runtime, Not an Add-On

개요

SAFi는 AI 에이전트의 실행 및 행동을 조직의 가치와 정책에 따라 제어하는 런타임 거버넌스 엔진으로, 모델 중심 아키텍처와 달리 거버넌스를 에이전트 운영의 핵심적인 내부 루프로 통합합니다.

주요 내용

• 모델 중심 아키텍처의 한계: 기존 AI 거버넌스는 모델을 중심으로 필터, 보호 장치, 모니터 등을 주변에 배치하나, 이는 모델의 행동을 형성하는 데 중점을 둘 뿐 모델의 작동 자체를 제어하지 못하며, 실행과 거버넌스의 분리가 발생합니다.
• SAFi의 아키텍처: SAFi는 거버넌스를 에이전트가 운영되는 내부 런타임 루프로 간주하며, 모델은 교체 가능한 추론 컴포넌트로 사용됩니다. 이 루프는 Values(가치), Intellect(지성), Will(의지), Conscience(양심), Spirit(정신)의 다섯 가지 능력으로 구성됩니다.
• 거버넌스의 런타임 통합: SAFi는 응답 생성 및 도구 실행 전에 각 과정을 평가하며, 거버넌스가 단순히 사후 검토가 아닌 에이전트의 응답과 행동이 형성, 평가, 승인, 기록되는 과정 자체임을 강조합니다.
• 모델 독립성 확보: SAFi는 조직의 헌장과 정책을 바탕으로 거버넌스를 적용하며, 모델을 교체하거나 업그레이드해도 조직은 자체 거버넌스 구조와 감사 기록을 유지할 수 있습니다.
• 실행 전 평가 및 감사: SAFi는 응답이 반환되거나 도구가 실행되기 전에 평가를 수행하여, 단순히 최종 결과의 수용 여부뿐 아니라 제안된 행동이 사전에 승인되었는지, 그 이유를 추적할 수 있도록 합니다.
• 내재화된 감사 기능: SAFi의 감사 추적은 런타임 루프의 명시적인 의사 결정 지점을 통해 생성되며, 원본 요청, 모델 생성 초안, 가치별 평가 내역, 정책 버전, 도구 호출 기록 등을 포함합니다.
• 필터와의 차이점: SAFi는 단순히 입출력을 검사하는 필터를 넘어, 적용되는 조직 가치, 관련 정책, 제안된 응답/행동, 정책 준수 여부, 의사 결정 이유 등을 종합적으로 질문합니다.

시사점

SAFi는 AI 에이전트의 행동과 실행을 조직의 가치에 기반하여 런타임 시점에 제어함으로써, 모델 독립적인 거버넌스, 강화된 감사 추적, 그리고 조직 통제 하의 책임감 있는 AI 운영을 가능하게 합니다.