How I Run an AI Software Factory: Distributed Agents, Boundary Checks, and Evidence Trails

개요

AI 코딩 작업을 자동화된 공장처럼 운영하기 위해, 코딩 에이전트의 각 단계별 경계(boundary)를 명확히 하고 이를 검증하는 4가지 로컬 CLI 도구(handoff-lint, policy-lint, contract-lint, claim-lint)를 소개한다.

주요 내용

* AI 코딩 작업에서 모델 자체의 위험성보다 입력, 실행 권한, 실행 계약, 출력 등 작업의 경계에서 발생하는 문제가 더 중요하며, 이는 물리적 공장의 검사 및 계약 관리와 유사하다.
* 작업의 각 경계는 명시적이고 결정론적인 단계로 전환되어야 하며, 이를 위해 독립적인 로컬 CLI 도구를 사용한다. 이 도구들은 모델을 호출하거나 외부 서비스에 연결하지 않는다.
* Input Boundary (입력 경계): handoff-lint는 작업 지시가 구조적으로 완전한지(메타데이터, 섹션, 에이전트가 작업 범위 내에 머무르기 위한 필수 정보 포함 여부) 검사한다.
* Execution Authorization Boundary (실행 권한 경계): policy-lint는 제안된 명령어가 로컬 정책에 따라 허용, 소유자 승인 필요, 거부, 금지 중 어떤 범주에 속하는지 분류한다. 이는 사람의 의사결정 순간을 가시화하고 기계적으로 만든다.
* Execution Contract Boundary (실행 계약 경계): contract-lint는 작업 결과가 사전에 선언된 계약(예: 결과물, 수행된 검증, 존중된 게이트)과 일치하는지 비교한다.
* Output Boundary (출력 경계): claim-lint는 공개되는 텍스트(README, 릴리스 노트 등)에 구성된 규칙에 따라, 작업 증거로 뒷받침되지 않는 주장이나 내부 이름/개인 경로 등이 포함되지 않았는지 검사한다.
* 결정론적이고 로컬에서 실행되는 검사는 재현 가능하며 감사 가능하고, 외부 서비스 의존성이 없어 보안상 안전하며, LLM 기반의 검토보다 신뢰성이 높다.
* 이 도구들은 AI 코딩 실행 자체를 수행하거나, 샌드박싱을 강제하거나, 의미론적 정확성을 증명하거나, 중요/위험한 작업에 대한 인간의 승체를 대체하지 않는다.
* 이 4가지 도구의 조합은 중앙 통제자가 아닌 경계 검사와 증거 추적을 통해 분산된 반자율 작업 시스템을 구축하는 방식을 제시하며, 이는 소프트웨어뿐만 아니라 일반적인 생산 협업 방식에도 적용될 수 있다.

시사점

이 시스템은 AI 코딩 작업의 신뢰성과 제어 가능성을 크게 향상시키며, 분산된 AI 에이전트의 안전하고 효율적인 운영을 위한 명확한 방법론을 제공한다.