Dog5pk Presents: dog5pk-production-protocol

개요

Dog5pk Production Protocol (DPP)은 AI 시스템이 생성한 결과물의 완성도를 인간의 판단 기준에 맞춰 검증하기 위한 실용적인 표준으로, 결과의 외형적 완성도와 실제 완성도를 구분하는 데 중점을 둔다.

주요 내용

* AI 결과물의 외형과 실제 완성도의 차이: AI는 몇 분 안에 완성된 것처럼 보이는 결과물(코드 저장소, 보고서, 백서 등)을 생성할 수 있지만, 이는 실제 완성됨을 의미하지 않으며 인간의 판단을 오도할 수 있다.
* DPP의 목표: DPP는 AI 작업 과정에서의 "실패 가시성"을 높이고, 완료 주장 시 더 엄격한 검증을 요구하며, 중요한 작업의 검토를 용이하게 하는 것을 목표로 한다.
* DPP v1.4의 핵심 원칙:
* Reality Wins: 결과물의 실제 작동 여부와 검증 통과 여부가 중요하며, 자신감 있는 표현이나 완성도 높은 외형보다 우선한다.
* Finish the Work: 구현이 요청되었을 때 설명으로 대체할 수 없으며, 불가능할 경우 명확한 차단 요소를 밝히고 가능한 부분까지만 완료된 상태로 보고해야 한다.
* Zero Placeholder Policy: TODO, 가짜 API, 시뮬레이션된 성공, 하드코딩된 답변 등을 완성된 기능으로 제시하는 것을 금지한다.
* Truth Over Confidence: 중요한 주장은 검증된 사실, 직접 관찰, 측정, 추론, 추정, 의견, 미확인 등 실제 근거에 따라 분류해야 한다.
* Evidence First: 주장의 중요도에 따라 적절한 증거를 요구하며, "파일이 생성되었다"와 "시스템이 안전하다"는 다른 수준의 검증을 필요로 한다.
* Respect Constraints: 명시된 요구사항은 변경되지 않는 한 구속력을 가지며, 어려움이 있다고 하여 작업을 은연중에 약화시키는 것을 허용하지 않는다.
* Contracts Shall Be Honest: 사양, 스키마 등은 구현 이전에 유용할 수 있으나, 명확한 경계를 설정하고 상태를 투명하게 공개해야 하며, 실제 작동하는 것처럼 오인하게 해서는 안 된다.
* Compliance Must Be Demonstrated: v1.4에서 추가된 원칙으로, 시스템이 DPP를 따르고 있다고 주장하는 것만으로는 규정 준수를 입증할 수 없으며, 실행과 검증을 분리하여 실제 기록을 통해 검증해야 한다.
* DPP v1.4의 이중 계층 운영 모델:
* Layer 1 (Behavioral execution): 사용자의 목표, 제약 조건, 증거 및 DPP의 의무에 따라 작업을 수행한다.
* Layer 2 (Compliance verification): 완료를 주장하기 전, 전달된 결과와 실제 기록을 비교하여 목표 달성 여부, 범위 확장 여부, 제약 조건 변경 여부, 주장 분류의 정확성, 작업 수행 여부, 잔여 결함 등을 확인한다.
* 네 가지 완료 증거 상태:
* Implemented: 작업은 생성되었으나 검증이 이루어지지 않은 상태.
* Verified: 관련 검증이 수행되었고 결과가 통과된 상태.
* Verified with limitations: 검증이 수행되었으나 식별된 제한 사항이 남아 있는 상태.
* Blocked: 특정 차단 요소로 인해 완료 주장이 불가능한 상태.
* DPP 적용의 간결성: DPP는 특별한 플랫폼이나 통합 없이 Operational Edition을 AI 시스템에 직접 제공하여 사용할 수 있으며, 작업 설명서에는 목표, 입력, 제약 조건, 완료 기준, 검증 방식이 포함되어야 한다.
* 첫 번째 벤치마크 결과: DPP를 적용한 결과, 제어 그룹에 비해 제약 조건 준수, 내부 일관성, 검증 정직성, 경계 처리 등에서 향상되었으나, 독립적으로 검증할 수 없는 미기록 수정 등에 대한 허점은 여전히 발견되었다.
* 벤치마크 002 (Production Rescue): 결함 있는 원장 서비스의 프로덕션 레디 수리를 평가하며, 작업 시작 전에 모든 조건(작업, 채점 기준, DPP v1.4 Operational Edition 등)이 공개된다.
* DPP의 한계: DPP는 증명 시스템이 아니며, AI의 고유 능력을 부여하지 않는다. 증거의 완전성 및 진위, 테스트 스위트의 포괄성, 평가자의 편향성, 외부 시스템의 동작, 모델의 지속적인 프로토콜 준수, 인간 검토자의 모든 결함 탐지, 환경 변화 후 결과의 지속적 정확성 등을 독립적으로 보장하지 못한다. 또한, 검증에 시간과 비용이 소모되며, 과도한 프로세스는 비효율을 초래할 수 있다.

시사점

DPP는 AI 결과물의 신뢰성을 높이기 위한 구조화된 접근 방식을 제시하며, 개발자들에게 외형적 완성도를 넘어 실제 작동 여부와 투명한 검증 과정을 중요시하도록 유도함으로써 AI 작업의 품질과 책임성을 향상시킬 잠재력을 가진다.