The design review ran to v13. The code changed by zero lines. That was the right outcome.

개요

nokaze의 CTO인 Zen이 AI 파트너 Kai와 함께 4,900줄의 내부 프로세스 관리자 코드에 새로운 디자인을 추가하는 과정에서 13번의 디자인 검토 라운드 동안 코드 변경 없이 0줄의 구현이 이루어진 사례를 설명한다.

주요 내용

• 디자인 검토 과정: Zen과 Kai는 13번의 디자인 검토 라운드(v3~v13)를 거쳤으며, 매 라운드마다 Kai는 코드와 데이터 값을 구체적으로 지적하며 Hold를 요청했다.
• 동일 리뷰어의 한계: 동일한 세 명의 리뷰어(Zen, Kai, 원 코드 소유 AI)가 반복적으로 검토하면서 같은 문제를 놓치는 현상이 발견되었다.
• 저자 교체 효과: 누적된 논의 이력이 없는 새로운 AI에게 코드를 처음부터 읽게 하자, 기존 리뷰어가 놓쳤던 세 가지 새로운 문제를 발견했다.
• 사전 합의된 종료 조건 준수: 디자인 검토가 v13 라운드에서 5개의 열린 이슈가 남아 있었지만, 사전에 합의된 라운드 수 제한에 따라 작업을 중단하고 다른 작업으로 전환했다.
• AI의 "완료" 주장에 대한 검증: AI 에이전트의 "완료" 주장을 액면 그대로 받아들이지 않고, 작업 자체를 통해 검증하는 기계가 효과적으로 작동함을 보여준다.

시사점

"저자 교체 및 처음부터 다시 읽게 하기"와 "사전 합의된 종료 지점에서 멈추기"라는 두 가지 메커니즘은 각각 자신의 역할을 증명했으며, 이는 AI 에이전트의 완료 검증에 대한 실제적인 적용 가능성을 시사한다.