I Tested My Own Method Four Times. Its Strongest Claim Never Passed.

개요

자체 개발한 벤치마크를 네 차례 실행한 결과, 통제된 메타데이터 레이어가 엔터프라이즈 컨텍스트 선택 시 비용 효율성이 있다는 주장은 검증되지 못했다.

주요 내용

* R2.1 결과: 3,000개 항목에 대한 통제된(governed) 방식의 F1 점수가 0.24065로, 사전 설정된 최저 기준인 0.245533보다 낮아 기준 미달로 판정되었다. 반면, 렉시컬(lexical) 방식은 0.588의 점수를 기록했다.
* R3 결과: 세 가지 경로(전체 컨텍스트, 렉시컬 필터, 메타데이터 기반 통제 경로)를 비교한 결과, 통제 경로는 렉시컬 방식 대비 F1 점수 구간이 [-0.371, 0.00005]로 나왔으며, 토큰 비율도 2.11배 대 1.10배 천장(ceiling)으로 높아 기준 미달로 판정되었다. 다만, 통제 경로는 전체 컨텍스트 방식보다는 우수했다.
* R4 및 R5 결과: 카탈로그를 재설계하고 비용 천장을 완화한 후에도 통제 경로는 렉시컬 방식 대비 품질은 높았으나, 토큰 비율이 각각 9.86배 및 6.94배로 기준(3.0배)을 초과하여 비용 규칙을 통과하지 못했다.
* 벤치마크 설계 변경: R3는 렉시컬 필터가 유의미한 신호를 얻을 수 있는 합성 카탈로그를 사용했으나, R4와 R5는 의미론적 접근(semantic-access) 기반의 불투명한 물리적 이름으로 구성된 카탈로그를 사용했다. R5에서는 렉시컬 방식의 F1 점수가 0이 되는 경우도 발생했다.
* 검증 기준: 벤치마크는 비용 천장과 품질 모두를 충족해야 하는데, 통제 경로는 품질에서 우위를 보였으나 비용 규칙을 충족하지 못했다.
* 실무 적용 질문: 컨텍스트 레이어 도입 시, 저렴한 기준선(lexical prefilter 등)과의 비교 여부, 사전 설정된 수집 규칙 준수 여부, 성능이 저하되는 지점 명확화 등을 질문해야 한다.
* 연구의 한계: 해당 결과는 단일 모델(qwen3-coder:30b)에 대한 합성 데이터 기반의 런타임 특성 분석이며, 실제 프로덕션 환경 결과나 ROI, 고객 데이터 결과와는 다를 수 있다.

시사점

자체 개발한 벤치마크를 통해 엔터프라이즈 컨텍스트 선택 시 통제된 메타데이터 레이어의 비용 효율성에 대한 초기 주장은 검증되지 않았으며, 저렴한 대안과의 엄격한 비교 및 사전 설정된 규칙 준수의 중요성을 강조한다.