Eval-Driven Agent Development: How I Stopped Tuning Prompts on Vibes

개요

기술 콘텐츠는 AI 에이전트 개발 과정에서 프롬프트 튜닝에 의존하는 방식에서 벗어나, ML 평가 방법론을 차용하여 에이전트 허니스의 개선을 체계적으로 측정하고 검증하는 Eval-Driven Agent Development 방법론을 소개합니다.

주요 내용

* 기존 프롬프트 엔지니어링의 한계: AI 코딩 에이전트는 비결정적이고, 기능 개발에 정답이 없기 때문에 단일 성공 사례만으로는 프롬프트 변경이 실제로 성능을 개선했는지 판단하기 어렵습니다. 이는 '바이브 기반' 프롬프트 엔지니어링으로 이어지며, 실질적인 개선 여부를 알 수 없는 불확실성을 야기합니다.
* Eval-Driven Agent Development 접근 방식: ML 평가 방법론에서 아이디어를 얻어, 에이전트 허니스의 각 단계(연구, 계획, 빌드, 검증, 테스트, 검토, 문서화)를 포괄하는 메타적인 평가 프레임워크를 구축합니다. 이 프레임워크는 다양한 작업(task)과 고정된 대상 코드베이스(target)를 사용하여 여러 번 실행하고, 그 결과를 점수화하여 변화의 영향력을 측정합니다.
* 핵심 구성 요소:
* Target (대상): 에이전트가 실행될 기준 코드베이스로, 변경되지 않도록 벤더링(vendoring)하여 점수의 일관성을 유지합니다.
* Task (작업): 특정 프롬프트와 정해진 성공 기준(oracle)으로 구성된 평가 항목입니다.
* Variant (변형): 테스트 대상이 되는 레이블이 지정된 구성(예: 플래너, 플래그).
* Trial (시도): 특정 작업에 대한 한 번의 실행. 비결정성 때문에 동일한 작업을 여러 번(N회) 실행합니다.
* 실행 및 평가 방식:
* 두 가지 유형의 평가자:
* Code Graders (코드 채점자): 테스트 통과율, 행동 수용 오라클, 완료된 단계, 비용, 시간, 코드 크기 등 기계적으로 측정 가능한 지표를 평가합니다.
* LLM Judge (LLM 심사관): 사양 품질(spec quality) 및 구현 충실도(implementation fidelity)와 같이 결정론적으로 측정하기 어려운 부분을 평가합니다. 이는 별도의 고정된 모델을 사용하며, 평가 대상 에이전트의 비용과는 분리됩니다.
* 핵심 지표: pass@k vs pass^k:
* pass@k: k번의 시도 중 최소 하나가 성공했는지 여부 (기능적 최대치, Capability Ceiling).
* pass^k: k번의 시도 모두 성공했는지 여부 (일관성, Consistency). 평균값 대신 이 두 지표를 사용하여 에이전트의 실제 성능과 신뢰성을 더 정확하게 파악합니다.
* 스코어카드 판독: A/B 테스트 결과는 pass@k, pass^k, 품질 지표, 비용, 시간 등의 상세 정보를 포함하는 스코어카드로 제공됩니다. 특히 pass^k의 변화는 에이전트의 성능 향상보다는 일관성 개선에 초점을 맞춘 실질적인 이득을 나타냅니다.
* 벤치마크의 지속적인 개선:
* Saturation (포화) 방지: 작업이 너무 쉬워져 모든 변형이 통과하면 벤치마크의 변별력이 떨어집니다. 이를 방지하기 위해 어려운 작업(hard-mode tasks)을 추가하고, 실제 실행에서 발견된 버그를 새로운 작업으로 만들어 벤치마크에 지속적으로 반영하는 'Capture Loop'를 운영합니다.
* 최저 비용 모델 탐색: 평가 가능한 환경이 구축되면, 최소한의 비용으로도 원하는 성능을 달성할 수 있는 모델과 설정 조합을 탐색합니다.

시사점

Eval-Driven Agent Development는 AI 에이전트 개발의 핵심 문제인 비결정성과 평가의 어려움을 극복하고, 변경 사항의 효과를 과학적으로 측정하며, 프로젝트의 신뢰성과 반복성을 크게 향상시키는 강력한 방법론입니다. 이 접근 방식은 '데모' 수준을 넘어 실제 사용할 수 있는 시스템으로 발전하는 데 필수적이며, 특히 개발 과정에서의 실수를 기반으로 벤치마크를 지속적으로 강화하는 '디스플린'은 경쟁 우위를 확보하는 중요한 요소가 됩니다.