Route by Task, Not by Hype: A Budget-Aware Harness for Trying New Coding Models

개요

새로운 코딩 모델의 홍수 속에서 비용 효율적으로 모델을 평가하기 위해, 모든 모델을 전체 테스트 스위트에 대해 실행하는 대신 작업 난이도별로 라우팅하는 방법론을 제시합니다.

주요 내용

* 과도한 평가 비용 문제: 새로운 모델이 빈번하게 출시될 때, 모든 모델을 60개 이상의 태스크로 구성된 전체 평가 스위트에 대해 실행하는 것은 선형적으로 증가하는 막대한 비용을 발생시키며, 쉬운 태스크에 대한 실행은 거의 유의미한 신호를 제공하지 않습니다.
* 태스크 티어링 및 라우팅: 태스크를 난이도(쉬움, 중간, 어려움)별로 티어링하고, 각 티어의 태스크를 해당 티어에 맞는 비용 효율적인 모델부터 시작하여 평가를 진행합니다. 쉬운 태스크는 저렴한 모델로 시작하고, 실패 시 중간 티어로 에스컬레이션하며, 어려운 태스크는 바로 강력한 모델을 사용합니다.
* Python 기반 라우터 구현: 약 80줄의 Python 코드로 구현된 예시 라우터는 JSON 파일에 정의된 태스크의 티어와 검증 명령을 기반으로 모델 풀을 선택하고 에스컬레이션을 관리합니다. MonkeyCode와 같은 무료 옵션을 저가 티어에 활용하는 방안을 제안합니다.
* 회귀 방지 및 드리프트 감지: 모델 풀 변경 시, 고정된 "골든 서브셋" 태스크를 사용하여 사전에 정의된 통과율을 만족하는지 확인하는 회귀 게이트를 두어 모델의 기능 퇴화를 방지합니다.
* 새 모델 결정 테이블: 새로운 모델 출시 시, 출처 확인, 태스크 유형 적합성, 골든 서브셋 통과 여부, 에스컬레이션율 감소 등을 기준으로 풀 편입 여부를 결정하는 의사결정 테이블을 제공합니다.
* 제한 사항: 태스크 티어링은 주관적인 판단이며, 검증 명령어의 강건성이 중요합니다. 무료 티어의 변경 가능성 및 안전이 중요한 애플리케이션에서의 사용 제한을 명시합니다.

시사점

이 접근 방식은 코딩 모델 평가 비용을 절감하면서도 실질적인 코드베이스와 태스크에 대한 모델 성능을 효과적으로 측정할 수 있으며, 모델 출시 주기가 가속화되는 환경에서 합리적인 의사결정을 지원합니다.