How I actually eval AI code review tools (no vendor numbers)

개요

AI 코드 리뷰 도구의 실제 효용성을 평가하기 위해 벤더가 제공하는 수치 대신, 실제 프로젝트 PR(Pull Request)을 기반으로 한 DIY(Do It Yourself) 평가 방법론을 제시합니다.

주요 내용

- 벤더 벤치마크의 한계: AI 코드 리뷰 도구들이 제시하는 높은 정밀도, 리콜 등의 수치는 벤더가 선택한 레포지토리와 평가 기준에 따라 측정되므로 실제 사용 환경에서의 성능을 정확히 반영하지 못할 수 있습니다.
- DIY 평가 방법론:
* 실제 사람 리뷰어가 코멘트를 남긴 20개의 병합된 PR(긴급 수정, 리팩토링, 간단한 수정 등 다양한 유형 포함)을 선정합니다.
* 각 PR의 diff에 대해 AI 코드 리뷰 도구를 실행하고, 생성된 모든 플래그(flag)를 'Real'(사람 리뷰어가 발견했거나 발견해야 할 내용), 'Noise'(코드는 관련 있으나 코멘트 가치가 없는 내용), 'Wrong'(실제 버그나 보안 취약점을 유발할 수 있는 잘못된 조언)의 세 가지 범주로 분류합니다.
* 평가 루브릭 없이, 사람이 PR을 검토하듯 도구의 출력을 검토합니다.
- 핵심 평가 지표:
* Bad-advice rate (Wrong / Total flags): 잘못된 조언 비율로, 치명적인 버그나 보안 취약점을 야기할 수 있는 위험한 지표입니다.
* Triage burden (Noise + Wrong) / Total flags: 불필요하거나 잘못된 플래그로 인해 의사 결정에 소요되는 시간 부담을 나타냅니다.
- 평가 결과 및 시사점:
* DIY 평가는 20개의 PR에 대해 약 반나절의 시간으로 수행 가능합니다.
* 평가를 통해 즉시 여러 도구를 제외하거나, 살아남은 도구의 설정을 개선할 수 있습니다.
- 설정(Configuration)의 중요성:
* 대부분의 치명적인 오류는 모델 자체의 문제라기보다 설정 또는 컨텍스트(context) 부족에서 발생합니다.
* 전체 레포지토리 컨텍스트에서 잘 작동하던 도구가 단일 파일 diff만 보았을 때 성능이 저하되거나, 과도하게 많은 플래그를 생성하는 것은 기본 설정이 마케팅 데모에 맞춰져 있기 때문일 수 있습니다.
* 도구를 실제 CI 설정과 팀의 PR 스타일에 맞춰 재평가하는 것이 중요합니다.

시사점

AI 코드 리뷰 도구 선택 시 벤더가 제시하는 수치보다는 실제 팀의 개발 환경과 워크플로우에 맞춰 DIY 평가를 수행하여 'Bad-advice rate'와 'Triage burden'을 최소화하고, 도구의 설정을 최적화하는 것이 실질적인 코드 품질 향상에 기여할 수 있습니다.