I Built a Multi-LLM Debate Engine That Fact-Checks Itself in Real Time

개요

자체 검증이 가능한 실시간 멀티 LLM 토론 엔진은 여러 LLM의 응답을 비교하고, 토론 과정 중에 실시간으로 사실을 검증하는 여섯 번째 에이전트(Validator)를 포함하여 답변의 정확성을 높이는 새로운 구조를 제시합니다.

주요 내용

• 기존의 단일 LLM 답변이나 여러 LLM의 단순 투표/요약 방식은 환각(hallucination)이나 잘못된 정보가 퍼지는 문제를 해결하지 못했습니다.
• 제안된 엔진은 분석가, 전략가, 악마의 변호사, 연구원 등 다양한 역할을 가진 에이전트들이 토론하고, 'Validator' 에이전트가 각 에이전트의 주장을 실시간으로 검증하는 구조를 따릅니다.
• Validator는 토론에 참여하지 않고, 수집된 정보의 사실 여부만을 확인하며, 검증 결과([OK], [WARN], [FAIL])는 다음 라운드 프롬프트에 필터링되어 주입됩니다.
• Validator는 웹 검색을 통해 숫자, 날짜, 회사 이름, 보고서, URL 등 구체적인 주장을 검증하며, 미래 시점의 주장이나 출처 불분명한 정보는 [FAIL] 또는 [WARN]으로 표시됩니다.
• 실험 결과, Validator가 정상 작동하는 경우 더 적은 수의 잘못된 인용이 발생했으며, 전체 런타임은 소폭 증가했지만 결과물의 신뢰성이 크게 향상되었습니다.
• 이 엔진은 600줄 미만의 Python 코드로 구현되었으며, 에이전트 역할은 YAML 파일로 설정 가능하고 OpenAI API, CLI 도구, 로컬 Ollama 등 다양한 LLM 제공자를 유연하게 사용할 수 있습니다.
• Validator는 토론 에이전트보다 처리 시간이 오래 걸리며, Validator의 응답 노력(reasoning effort)을 줄이면 속도가 향상되지만 정확성이 저하될 수 있습니다.
• 단일 책임 프롬프트를 가진 에이전트가 여러 책임을 가진 에이전트보다 성능이 우수하며, Validator와 다른 역할을 분리하는 것이 효과적입니다.
• 현재 해결되지 않은 과제로는 라운드 적응성, 비동기 Validator, 메타-Validator, 에이전트 신뢰도 지표 등이 있습니다.

시사점

이 실시간 자체 검증 토론 엔진은 LLM의 답변 신뢰성을 획기적으로 높일 수 있는 구조적 접근 방식을 제공하며, 특히 의사 결정 지원 파이프라인, 신속한 정보 요약, 또는 훈련 데이터셋 생성 등 LLM 결과에 대한 신뢰도가 중요한 응용 분야에 실질적인 이점을 제공할 수 있습니다.