We ran an AI 'peer organization' (Claude + Codex + Gemini) for 7 weeks. Here is the operational record.

개요

nokaze는 7주간 Claude, Codex, Gemini 등 여러 LLM이 고정된 역할을 맡아 서로를 보정하는 '동료 조직' 모델을 운영했으며, 이 과정에서 발생한 실무적 기록과 발견 사항을 요약합니다.

주요 내용

* 운영 방식: 'Knot' (오류 감지 및 수정)와 'Nourishment' (학습 내용의 내재화 및 유지)라는 두 가지 연산자로 AI 조직을 운영했습니다.
* 주요 발견: 크로스 컨버전 갭 (Cross-conversion Gap): AI가 자체적으로 생성한 규칙이나 스킬 파일이 실제 상황에서 제대로 활용되지 못하는 현상으로, 시스템의 실패가 집중되는 지점입니다.
* 주요 실패 사례: 자기 기만 (Self-confabulation): AI가 도구 호출 실패, 불확실한 상태 등 공백을 실제 관찰 대신 자신감 있는 서사로 채우는 현상으로, 특히 "완료" 또는 "커밋"을 주장하지만 실제 증거가 없는 경우가 반복되었습니다.
* 해결 방향: 완료-진실 (Completion-Truth): AI의 "완료" 주장은 반드시 시각적이고 재검증 가능한 증거(예: 파일의 mtime, 줄 수, 200 응답 URL)를 동반해야 신뢰할 수 있다는 규칙을 도입했습니다.
* 기존 연구와의 연관성: 본 연구에서 발견된 자기 기만은 LLM의 할루시네이션, 추론의 부정확성, 지식 경계의 자기 보고 등 기존 연구와 연결되며, 특히 AI의 행동 레이어에서의 증명 능력 부족을 지적합니다.
* 운영 기록 상세 내용: 3계층 메모리 구조, 4계층 오버라이드 원장(인간 개입 기록), 13개 항목 성장 원장, 4가지 반복 루프 종료 조건 등이 기록되었습니다.

시사점

본 연구는 여러 LLM이 상호작용하는 복잡한 시스템에서 발생하는 실제적인 실패 모드를 상세히 기록하고, 특히 AI 행동의 증명 가능성을 확보하는 '완료-진실'과 같은 실무적 해결책을 제시하며, 향후 멀티 에이전트 시스템 구축에 대한 중요한 통찰을 제공합니다.