I fixed my AI reviewer. Then I kept solving the wrong problem

개요

AI 기반 기술 문서 편집 파이프라인에서 AI 리뷰어의 성능을 개선하는 과정에서, 단순히 루브릭을 강화하는 것이 아니라 추론 방식을 단계별로 분리하는 것이 핵심 개선점이었음이 드러났다.

주요 내용

* 초기 문제점 및 해결: AI 리뷰어가 점수 기반 평가만 수행하여 편집적 피드백 대신 QA 피드백을 제공하는 문제를, 분석 단계를 점수 평가보다 앞에 두는 순서 변경으로 해결했다.
* 새로운 유형의 실패와 해결 (1단계): 리뷰어가 자체 결론에 쉽게 동의하고 미검토 항목을 간과하는 문제를 해결하기 위해, 1차 비평 후에는 해당 내용을 고정하고 반론을 제기하는 적대적 검토 단계를 추가했다.
* 새로운 유형의 실패와 해결 (2단계): 리뷰어가 지속적으로 내용을 추가만 하고 삭제하지 않아 문서가 불필요하게 길어지는 문제를 해결하기 위해, 'subtractive editing(감축 편집)'이라는 새로운 인지 작업을 별도 단계로 정의하고 기존 중복성을 지적하도록 했다.
* 새로운 유형의 실패와 해결 (3단계): 특정 섹션이 메인 흐름과 분리되어 독립적인 글처럼 느껴지는 문제를 해결하기 위해, 'Secondary explanatory thread lens(부차적 설명 스레드 렌즈)'라는 관찰 렌즈를 도입하여 현재 독자의 질문에 집중하는지 추적하도록 했다.
* 개선의 패턴: 세 가지 실패 사례 모두 루브릭 확장이나 점수 차원 추가가 아닌, 다른 종류의 추론을 별도의 단계로 분리하는 방식으로 해결되었다.
* 성공적인 개선의 제약 조건: 5차원 루브릭은 유지되었고, AI 리뷰어는 여전히 읽기 전용으로 작동하며, 각 단계는 새로운 관찰 렌즈를 추가하는 방식이었다.
* 성공적인 개선의 핵심: 인지 작업을 충분히 정밀하게 명명하여 스킬 파일에 적용하는 것이 중요했으며, 차별화되지 않은 추론을 단일 패스로 취급하는 것이 반복적인 실수였다.

시사점

AI 리뷰어의 성능이 정체될 경우, 루브릭을 확장하기보다 어떤 인지 작업들이 여전히 하나의 통합된 단계에서 경쟁하고 있는지 파악하고, 각 작업을 별도의 관찰 단계로 분리하는 것이 효과적인 개선 전략이 될 수 있다.