Schema Evals for a One-Key Node.js Text Classification API

개요

Node.js 텍스트 분류 API에서 여러 클라우드 제공업체의 API 키를 하나로 통합하고 엄격한 JSON 스키마 계약을 통해 모델 라우팅을 관리하는 아키텍처 패턴을 설명합니다.

주요 내용

* 통합 API 키 및 JSON 계약: 여러 제공업체별 클라이언트 대신 단일 범위의 분류 API 키와 엄격한 JSON 스키마 계약을 사용하여 API를 단순화합니다.
* 모델 라우팅 관리: interactive 및 batch와 같은 라우팅 프로필을 사용하여 내부 게이트웨이가 적절한 모델로 요청을 라우팅하도록 합니다. 애플리케이션 코드는 제공업체별 모델 ID를 직접 받거나 선택하지 않습니다.
* 데이터 계약 및 유효성 검사: 명확하고 단순한 출력 계약(예: label, confidence, reason)을 정의하고, 이 계약을 기반으로 유효성을 검사하여 예기치 않은 레이블이나 데이터 형식이 시스템에 유입되는 것을 방지합니다.
* 측정 가능한 변경 및 롤백: 모든 라우트 변경은 동일한 평가(eval) 스위트를 통과해야 하며, 이를 통해 변경 사항을 측정 가능하고 되돌릴 수 있게 합니다. 각 이벤트의 버전 정보를 기록하여 문제 발생 시 이전 상태로 롤백하거나 과거 데이터를 재평가할 수 있습니다.
* 평가(Eval) 기반 모델 선택: 라벨링된 데이터셋을 사용하여 후보 모델을 평가하고, 정밀도, 재현율, 혼동 행렬, 오류율, 지연 시간 등을 측정하여 모델을 프로덕션에 출시할지 결정합니다.
* 파이프라인 운영: 분류 작업을 데이터 파이프라인으로 운영하며, 태스크의 모든 구성 요소(분류법, 프롬프트, 스키마, 라우트 매핑, 평가 데이터셋)를 독립적으로 버전 관리하고, 각 요청의 처리 결과를 기록합니다.
* 배치 작업 처리: 비동기 배치 인터페이스는 백필 및 야간 태깅에 적합하며, 동일한 결과 형식과 평가 스위트를 유지하여 이식성을 확보합니다.
* 보안 및 격리: 공유 API 키는 분류에만 범위를 지정하고, 보안 관리 도구에 저장하며, 브라우저 코드에는 사용하지 않습니다. 법적 또는 조직적 격리가 필요한 경우 별도의 자격 증명을 사용합니다.

시사점

이 아키텍처는 여러 LLM 제공업체를 사용하는 Node.js 애플리케이션에서 일관된 인터페이스를 제공하고, 모델 변경에 대한 위험을 줄이며, 모델 선택을 실험적인 선호도에서 관찰 가능한 배포 결정으로 전환하는 데 기여합니다.