Even (very) noisy LLM evaluators are useful for improving AI agents

개요

LLM 평가자가 개별 출력에 대해서는 노이즈가 많아 신뢰하기 어렵더라도, 여러 샘플을 평균 내면 AI 에이전트의 전반적인 성능을 비교하는 데에는 매우 유용하다는 점을 설명한다.

주요 내용

- LLM 평가자 개발의 어려움: 규칙 기반 및 고전적인 NLP 메트릭은 종종 취약하며 의미론적 차원을 놓친다. 학습된 보상 모델은 분포 이동 및 보상 해킹에 취약하며, LLM-as-a-judge 설정은 시스템적 편향과 한계(스타일, 길이 선호, 불일치, 인간 판단과의 낮은 상관관계)를 보인다.
- 평가자의 품질 측정:
* 출력 수준 상관관계 (Output-level correlation): 개별 출력에 대한 평가 점수가 실제 결과와 얼마나 잘 일치하는지를 측정한다. 프로덕션 워크플로우(예: 가드레일)에 사용되며, 노이즈가 많은 평가자는 신뢰할 수 없다.
* 에이전트 수준 상관관계 (Agent-level correlation): 여러 출력에 대한 평균 점수가 에이전트의 실제 품질과 얼마나 잘 일치하는지를 측정한다. 오프라인 변형 선택(예: 최적의 프롬프트 또는 모델 선택)에 사용되며, 샘플 크기가 늘어남에 따라 일반적으로 향상된다.
- 노이즈가 많은 평가자도 에이전트를 순위 매기는 데 유용한 이유: 핵심 통찰력은 노이즈가 많은 평가자라도 실제로 더 높은 품질의 에이전트에 대해 평균적으로 더 높은 점수를 제공할 수 있다는 것이다. 여러 샘플을 통해 노이즈가 상쇄되기 때문이다.
- 필요한 평가 데이터셋 크기: 두 에이전트를 안정적으로 구별하는 데 필요한 샘플 크기는 성능 격차의 제곱에 반비례한다. 성능 격차가 5~10%p인 경우, 노이즈가 많은 평가자도 수백에서 수천 개의 예제를 통해 올바른 순위를 높은 확률로 제공할 수 있다.
- 이론적 분석 및 실패 모드: 에이전트의 평균 평가 점수가 실제 성능 순서를 반영해야 하며, 이는 평가자의 편향이 실제 성능 격차를 뒤집을 만큼 크지 않다면 보장된다. 실패 모드로는 특정 영역 편향, 오프라인/온라인 분포 불일치, 강한 의존성 또는 비정상성이 있다.
- 실제 벤치마크에서의 적용: Gridworld, Wordle, Data Extraction (NER/NDA), Business Management 등 5가지 작업에서 LLM 생성 평가자를 사용하여 25개의 에이전트 변형을 평가한 결과, 모든 환경에서 에이전트 수준 상관관계가 출력 수준 상관관계보다 높았다. 특히 Wordle의 경우, 출력 수준 상관관계는 0.41에 불과하지만 에이전트 수준 상관관계는 0.96에 달했다.
- 쌍별 승률 (Pairwise win rate): 평가자가 두 변형을 비교할 때 더 나은 변형을 선택하는 빈도를 측정한 결과, 모든 환경에서 0.5(무작위)를 크게 상회했으며, Gridworld는 0.97, Wordle은 0.87, Data Extraction (NER)은 0.82를 기록했다.

시사점

개별 출력에 대한 노이즈가 많아 신뢰하기 어려운 LLM 평가자라도, 충분한 데이터를 활용하여 에이전트의 전체 성능을 비교하고 더 나은 에이전트를 선택하는 데 매우 효과적으로 사용될 수 있다. 이를 통해 현재 시점에서 더 나은 성능의 에이전트를 배포하고 지속적으로 개선해 나갈 수 있다.