Three RAG failures that look like model problems but aren't

개요

Retrieval-Augmented Generation (RAG) 시스템의 실패는 종종 LLM 자체의 문제처럼 보이지만, 실제로는 검색(retrieval) 단계의 문제일 가능성이 높습니다.

주요 내용

• 데이터 임베딩 품질 저하: RAG는 사용자 질문과 관련 문서를 벡터 공간에 임베딩하여 유사도를 찾습니다. 이때 임베딩 모델의 성능이 낮거나, 데이터의 노이즈가 심한 경우 관련 없는 문서가 선택될 가능성이 높아집니다.
• 불충분한 검색 결과: RAG는 LLM이 답변을 생성하는 데 필요한 정보를 검색 단계에서 가져옵니다. 검색 결과가 질문에 대한 충분한 맥락을 제공하지 못하거나, 핵심 정보를 놓치는 경우 LLM은 부정확하거나 관련 없는 답변을 생성할 수 있습니다.
• 검색 결과의 부정확성: 검색 단계에서 사용자 질문과 완전히 관련 없는 문서가 선택되거나, 문서 내에서 잘못된 정보가 강조될 경우 LLM은 이를 기반으로 잘못된 답변을 생성하게 됩니다. 이는 LLM의 자체적인 추론 능력과는 별개로 발생하는 문제입니다.

시사점

RAG 시스템의 성능 저하는 LLM 자체의 한계가 아니라, 검색 단계의 개선을 통해 해결될 수 있는 경우가 많습니다. 따라서 RAG 시스템 구축 시 LLM의 성능만큼이나 검색 알고리즘, 임베딩 모델, 그리고 데이터 전처리 과정에 대한 면밀한 검토와 최적화가 필수적입니다.