Improving Determinism with LLMs: Prompting, Model Selection, Context, and Tools

개요

대규모 언어 모델(LLM)은 강력하지만 본질적으로 결정적이지 않으므로, AI 기반 애플리케이션의 신뢰성을 높이기 위해서는 프롬프트 엔지니어링, 모델 선택, 적절한 컨텍스트 제공(RAG 포함), 도구 활용이라는 네 가지 방법을 통해 설계해야 한다.

주요 내용

* 프롬프트 엔지니어링: 모호한 프롬프트는 모델에 과도한 자유를 부여하므로, 단계별 지침, 명확한 예시, 명시적인 출력 형식 요구사항, 제약 조건, "모르겠다"고 답할 수 있는 권한 부여 등을 통해 프롬프트를 구체화하여 모델의 신뢰성을 높여야 한다.
* 모델 선택: 모든 LLM이 모든 작업에 능숙한 것은 아니므로, 특정 작업(예: 복잡한 추론, 코딩, 이미지 생성)에 가장 적합한 모델을 선택해야 하며, 모델의 온도(temperature) 설정(정확성 작업에는 낮은 온도, 창의적 작업에는 높은 온도)과 작업 의도에 따른 지능형 모델 라우팅도 중요하다.
* 적절한 컨텍스트 제공 (RAG): LLM이 특정 문서, 정책, 데이터 등에 기반한 답변을 생성하도록 컨텍스트를 제공하는 것이 정확성을 높이는 데 핵심적이며, 검색 증강 생성(RAG)은 벡터 데이터베이스에 문서를 저장하고 관련 내용을 검색하여 LLM에 컨텍스트로 제공함으로써 모델이 답변의 출처를 명확히 하도록 돕는다.
* 결정적 작업을 위한 도구 활용: 복잡한 계산, 대규모 데이터셋 비교, 데이터베이스 쿼리, API 조회 등 LLM이 직접 수행하기보다는 코드 기반의 결정적 도구를 활용하는 것이 일관되고 프로덕션 품질의 결과를 얻는 데 효과적이며, LLM은 이러한 도구를 언제 사용할지 결정하고 결과를 해석하는 역할을 담당한다.

시사점

LLM의 유연성과 추론 능력에 결정적 소프트웨어 엔지니어링의 신뢰성을 결합하는 시스템 설계를 통해 AI 기반 애플리케이션의 정확성, 환각 감소, 결과 재현성을 극대화하여 프로덕션 준비 상태를 높일 수 있다.