Workshop: Gate Retrieved Context With a Cheap Scoring Pass in 70 Minutes

개요

본 워크숍은 70분 동안 신뢰할 수 없는 검색 결과에 대한 저렴한 점수 검증 단계를 추가하여, 에이전트가 검증되지 않은 메모를 사용하는 일반적인 프로덕션 실패를 방지하는 방법을 다룹니다.

주요 내용

* 검색 결과의 신뢰성 문제: 에이전트가 검증되지 않은 메모를 사용하는 것이 프롬프트 오류보다 더 흔한 프로덕션 실패 원인이 되고 있습니다.
* 점수 검증 게이트 추가: 70분간의 워크숍을 통해 생성 전에 저렴한 점수 검증 게이트, 재현 가능한 로그, 거부 경로를 추가할 수 있습니다.
* 빌드 결과물: 실행 가능한 Python 하네스, 4행 결정 테이블, 반복 가능한 타이밍 계획을 제공합니다.
* 신뢰할 수 없는 입력 처리: 검색된 스니펫을 모델이 인용해야 하는 사실이 아닌, 신뢰할 수 없는 입력으로 간주합니다.
* 워크플로우: 검색 배치 캡처, 작성된 루브릭에 따라 각 청크 점수 매기기, 통과한 청크만 프롬프트에 포함시키는 과정을 수행합니다.
* JSONL 재현 로그: 핑거프린트, 점수, 결정을 기록하여 향후 실패를 비교 분석할 수 있습니다.
* 타이밍 계획: 00:00–00:10 (의존성 설치, 하네스 로드), 00:10–00:30 (검색 페이로드 캡처), 00:30–00:50 (청크 점수 매기기), 00:50–00:65 (프롬프트 게이트, 거부 사례 재현), 00:65–00:70 (디브리핑).
* 점수 검증 단계의 필요성: 저렴한 코드 생성으로 검색기를 채팅 루프에 쉽게 통합할 수 있지만, 오래되거나 주제에서 벗어난 청크로 인해 모델이 유창하게 답변하는 실패 모드가 발생할 수 있습니다.
* 별도의 점수 검증: 생성 모델 이전에 별도의 점수 검증 단계를 두는 것이 더 저렴하고 검사하기 쉽습니다.
* 루브릭 및 결정 테이블: 루브릭은 점수 밴드에 따라 프롬프트에서 제외, 격리, 출처 인용 허용, 허용 등의 조치를 결정합니다.
* 주요 검사 항목: 토픽 중복, 시간적 적합성, 지침 위생, 인용 가능성.
* 예제 코퍼스: SKU-441 환불 기간에 대한 쿼리와 doc-a(올바른 정보), doc-b(잘못된 지침), doc-c(오래된 정보) 세 개의 청크로 구성됩니다.
* 연습 1 (20분): 모델 호출 없이 검색 배치 정보를 재현 가능한 레코드로 고정하고 핑거프린트를 생성합니다.
* 연습 2 (20분): 루브릭 또는 선택적 무료 모델을 사용하여 청크 점수를 매깁니다.
* 연습 3 (15분): 허용된 청크만 사용하여 생성기 프롬프트를 구축하고, 거부된 청크를 재현하여 게이트가 제대로 작동하는지 확인합니다.
* 디브리핑:Doc-b를 모델 없이 잡은 검사, 식재된 텍스트가 특정 단어를 피했을 경우 실패할 검사, 휴리스틱과 판정기가 Doc-c에 대해 다른 의견을 보였을 경우의 대처 방안을 논의합니다.
* 한계점: 이 게이트는 검색된 텍스트에 대한 콘텐츠 필터이며, 샌드박스, 인증 계층, 프롬프트 주입 방지 기능은 아닙니다.
* 사용하면 안 되는 경우: 인증된 안전 평가가 필요한 팀, 초당 하위 단위의 자동 완성 등 추가 점수 홉을 허용하지 않는 경로, 규제된 개인 데이터를 타사 점수 호스트로 전송하는 워크플로우, 아직 검색 단계가 없는 사용자.

시사점

이 워크숍은 신뢰할 수 없는 검색 결과를 효과적으로 필터링하고 생성 모델의 품질과 안정성을 향상시키기 위한 실용적인 방법을 제시하며, 에이전트 기반 시스템의 신뢰성을 높이는 데 기여할 수 있습니다.