Your Free AI Model Changed Overnight. Here's a Snapshot Test Suite That Notices.

개요

기술 콘텐츠는 LLM(Large Language Model)의 출력 값이 예고 없이 변경되는 문제에 대응하기 위한 스냅샷 회귀(snapshot regression) 테스트 스위트 구축 방법을 제시한다.

주요 내용

* 모델의 변동성: LLM은 npm 패키지나 Docker 이미지와 달리 최신 버전 태그처럼 취급되어, 공급자에 의해 예고 없이 업데이트, 양자화, 재라우팅 또는 은퇴될 수 있다. 무료 티어는 이러한 변화가 더욱 빈번하다.
* 스냅샷 회귀 테스트의 필요성: 기존 코드의 변경 없이 LLM 출력 품질 저하를 감지하기 위해, 알려진 올바른 동작을 기록하고 주기적으로 이를 비교하는 테스트 스위트가 필요하다.
* 동작 방식:
* 골든 파일(Golden Files): 'golden/baseline.json'에 특정 프롬프트에 대한 LLM의 예상 출력 결과를 저장한다.
* 프롬프트 및 제약 조건(Probes): 각 테스트 케이스는 프롬프트와 함께 JSON 유효성, 필수 키 포함 여부, 특정 문구 포함/미포함 등 반드시 충족되어야 하는 제약 조건으로 구성된다.
* 출력 비교:
* 하드 체크(Hard Checks): JSON 유효성, 필수 키, 금지 단어, 필수 포함 문자열 등 정의된 제약 조건을 만족하는지 검사한다.
* 의미론적 유사도: 단순히 문자열 비교가 아닌, 단어 토큰의 Jaccard 유사도(구현 예시) 또는 임베딩 코사인 유사도를 사용하여 이전 출력과 현재 출력 간의 의미론적 드리프트를 감지한다.
* 구현 예시 (Python): drift_check.py 스크립트는 OpenAI 호환 API 엔드포인트를 사용하여 LLM에 프롬프트를 보내고, 결과를 JSON 형식으로 저장하거나 기존 골든 파일과 비교한다.
* 무료 접근성의 장점: MonkeyCode와 같은 플랫폼의 무료 LLM 액세스 및 서버 옵션을 활용하면, 이 테스트 스위트를 비용 없이 정기적으로 실행할 수 있다.
* 경고 vs. 재기준 설정:
* 하드 체크 실패는 즉각적인 조사와 경고를 필요로 한다.
* 모든 프롬프트에서 의미론적 드리프트가 발생하면 모델 업데이트 또는 재라우팅을 의심하고, 두 번 실행하여 확인 후 프롬프트 재조정 또는 재기준 설정을 고려한다.
* 하나의 프롬프트만 드리프트되면 해당 프롬프트가 불안정했거나 경계선에 있었음을 의미하며, 재기준 설정 대신 프롬프트 제약 조건을 강화하는 것을 권장한다.
* 프롬프트 변경 후 발생하는 드리프트는 의도하지 않은 부작용을 나타내므로, 검토 후 재기준 설정을 진행한다.
* 제한 사항: Temperature 0 설정에서도 완벽한 결정론을 보장하지 않으며, 배치, 하드웨어, 공급자 측 변경 등으로 인해 출력이 달라질 수 있다. 따라서 의미론적 유사도보다 하드 체크가 더 중요하다. 유사도 임계값은 주의 깊게 조정해야 하며, 작은 프롬프트 세트는 미묘한 성능 저하를 놓칠 수 있다.

시사점

이 스냅샷 회귀 테스트 스위트는 LLM을 자동화된 파이프라인에 사용하는 경우, 예측 불가능한 모델 변경으로 인한 문제를 조기에 감지하고 대응할 수 있도록 지원하며, 프롬프트 변경의 영향을 추적하는 도구로도 활용될 수 있다.