What Is Retrieval Augmented Generation (RAG), and Why Does It Make AI So Much Less Confidently Wrong?

개요

Retrieval Augmented Generation (RAG)은 AI가 응답을 생성하기 전에 외부 지식 기반에서 관련 정보를 검색하여 LLM의 환각(hallucinations)을 줄이고 응답의 정확성을 높이는 기술이다.

주요 내용

* 기존 LLM의 한계: 대규모 텍스트 데이터셋으로 학습된 기존 LLM은 학습된 패턴에 기반하여 가장 가능성 있는 다음 단어를 예측하는 방식으로 응답을 생성하므로, 사실 확인 메커니즘 없이 틀린 정보를 확신에 차서 제공하는 '환각' 현상이 발생한다.
* RAG의 작동 방식: RAG는 사용자의 질문을 받으면 먼저 특정 데이터베이스, 문서 컬렉션 또는 지식 기반에서 관련 정보를 검색(Retrieval)한다. 검색된 관련 텍스트 청크는 AI 모델에 컨텍스트로 제공되며, AI는 이를 바탕으로 답변을 생성(Augmented Generation)한다.
* RAG의 장점:
* 환각 감소: AI가 실제 문서를 참조하므로 사실에 기반한 답변 생성이 가능해져 환각 현상이 크게 줄어든다.
* 출처 인용 가능: 답변의 근거가 된 출처를 추적하고 확인할 수 있다.
* 실시간 업데이트: 외부 지식 기반의 정보가 변경되면 별도의 재학습 없이 즉시 최신 정보를 반영할 수 있다.
* 신뢰성 향상: 추측이 아닌 검증된 정보를 바탕으로 답변하므로 AI 응답의 신뢰도가 높아진다.
* RAG의 기술적 과정: 사용자의 질문은 지식 기반에 대한 검색을 트리거하며, 이때 벡터 검색 또는 의미론적 매칭을 사용하여 개념적으로 관련 있는 문서를 찾는다. 검색된 최상위 결과들은 AI의 프롬프트에 추가 컨텍스트로 포함되고, AI는 학습 데이터와 검색된 정보를 종합하여 최종 답변을 생성한다.
* RAG의 활용: Bing Chat, Perplexity AI, 웹 브라우징 기능이 활성화된 ChatGPT 등에서 RAG가 활용되고 있으며, 기업 내부 챗봇이나 개인 지식 관리 도구(Mem, Reflect 등)에서도 적용 가능하다.

시사점

RAG는 LLM의 정확성과 신뢰성을 획기적으로 개선하여 AI를 더욱 실용적이고 유용한 도구로 만들며, 실제 정보에 기반한 AI 활용의 새로운 기준을 제시한다.