RAG Is Not Enough: The Evolution of Enterprise AI

개요

Retrieval-Augmented Generation (RAG)은 기업 AI에서 중요한 역할을 해왔지만, 실제 운영 환경에서는 단순한 정보 검색을 넘어 복잡한 비즈니스 목표 달성을 위해 더 많은 기능이 요구됩니다.

주요 내용

* RAG의 역할과 한계: RAG는 LLM이 기업의 비공식 지식에 접근할 수 있도록 하여 Private knowledge, Fresh information, Grounding, Citations, Lower operational complexity 등의 이점을 제공했습니다. 하지만 "환불 승인 가능한가?" 와 같은 질문에 대한 응답은 단순 정보 검색을 넘어 사용자 권한, 현재 상태, 실시간 데이터 등을 포함하는 소프트웨어 엔지니어링 문제로 확장됩니다.
* 기업 데이터의 다양성: 기업 데이터는 문서 외에도 데이터베이스, API, 실시간 정보 등 다양한 형태를 가지며, 각각 다른 접근 방식이 필요합니다. 모든 데이터를 벡터 데이터베이스에 임베딩하는 것은 비효율적일 수 있습니다.
* 정보 품질의 중요성: 단순히 문서를 추가하는 것만으로는 RAG 시스템의 성능을 개선하기 어렵습니다. 문서의 권한, 최신성, 소유권, 버전 관리 등 정보 아키텍처와 품질이 중요합니다.
* 고도화된 RAG: 단순 RAG는 Query → Embedding → Vector Search → Top K Chunks → LLM의 구조를 가지지만, 프로덕션 환경에서는 Query Understanding, Intent Detection, Metadata Filtering, Hybrid Search, Reranking, Context Compression 등 더 복잡한 과정을 포함합니다.
* 권한 관리의 중요성: RAG 시스템은 민감한 정보에 대한 접근 제어를 애플리케이션 아키텍처 수준에서 강화해야 하며, LLM 자체에 의존해서는 안 됩니다.
* 실시간 데이터 통합: RAG는 지식 검색에 유용하지만, 주문 상태와 같은 실시간 정보는 시스템 오브 레코드(System of Record)에서 가져와야 합니다.
* 행동 중심 AI: 초기 AI 시스템이 "답변"에 집중했다면, 현대 엔터프라이즈 AI는 Intent → Reason → Retrieve → Decide → Act → Verify → Report Result와 같이 "행동"하는 능력이 중요해지고 있습니다.
* 도구 사용(Tool Use): AI 시스템이 검색, SQL 쿼리, CRM, ERP, 이메일 등 다양한 도구를 활용하여 비즈니스 작업을 수행할 수 있게 됩니다.
* AI 거버넌스 및 제어: 에이전트 AI는 무분별한 도구 사용을 방지하기 위해 명확한 경계, 정책 확인, 인간 승인 등의 거버넌스 체계가 필요합니다.
* 에이전트 루프의 문제점: 에이전트가 무한 루프에 빠지거나 불필요한 비용 및 지연을 유발할 수 있으므로, 최대 단계, 도구 호출 수, 실행 시간 등의 제한이 필요합니다.
* 메모리 관리: AI 메모리는 단순 채팅 기록을 넘어 장기적인 워크플로우 상태 관리를 포함해야 합니다.
* 지식 그래프 활용: 벡터 검색과 함께 관계형 데이터를 명시적으로 표현하는 지식 그래프는 복잡한 관계 추론에 유용합니다.
* 현대 엔터프라이즈 AI 아키텍처: AI Gateway, Intent/Router, Planner/Agent, Retrieval, Tools, Memory, Policy Engine, LLM, Validator, Audit/Tracing 등 다양한 구성 요소가 통합됩니다.
* LLM은 애플리케이션의 일부: LLM은 전체 애플리케이션이 아닌, 프론트엔드, 백엔드, 데이터베이스 등과 함께 작동하는 한 구성 요소입니다.
* RAG의 적용 범위: RAG는 원격 근무 정책 설명과 같은 경우에 적합하지만, 계좌 잔액 확인이나 티켓 생성 등은 해당 서비스의 소스 오브 트루스(Source of Truth)나 API를 사용해야 합니다.
* 신뢰성 확보: 엔터프라이즈 AI는 의사결정(Decide), 실행(Execute), 검증(Verify), 응답(Respond) 과정을 통해 실제 작업 완료 여부를 확인해야 합니다.
* 체계적인 평가: 성능 평가는 단순히 답변의 질뿐만 아니라, 검색 정확성, 생성된 답변의 근거, 도구 사용의 적절성, 비즈니스 워크플로우 완료 등을 포함해야 합니다.
* 가시성(Observability): 문제 발생 시 쿼리, 의도, 검색 소스, 모델 결정, 도구 호출, 최종 응답까지의 실행 추적을 가능하게 하여 디버깅을 용이하게 해야 합니다.
* AI 보안: 프롬프트 인젝션을 넘어 인증, 권한 부여, 데이터 격리, 도구 권한 등 다층적인 보안이 중요하며, LLM을 신뢰할 수 있는 보안 경계로 간주해서는 안 됩니다.
* 비용 및 지연 관리: 복잡한 AI 파이프라인은 높은 비용과 지연 시간을 야기할 수 있으므로, 정확성, 지연 시간, 비용, 신뢰성 간의 균형을 맞춰야 합니다.
* AI 아키텍처의 진화: LLM 중심에서 RAG, Advanced RAG, Agentic RAG, Tool-Using AI, Stateful AI, Governed Enterprise AI로 발전해왔습니다.
* 소프트웨어 엔지니어의 역할: AI 엔지니어링은 API, 데이터베이스, 인증 등 소프트웨어 엔지니어링의 기본 원칙 위에 LLM API, 임베딩, RAG, 도구 사용, 에이전트, 상태 관리, 보안 등을 쌓아가는 방식으로 진행됩니다.
* 실용적인 AI 프로젝트: 단순 "Chat with PDF"를 넘어, AI IT 지원 엔지니어와 같이 인증, 정책 검색, API 연동, 워크플로우 상태 관리 등을 포함하는 프로젝트가 AI 엔지니어링 역량을 키우는 데 유용합니다.
* 비즈니스 문제 중심 접근: "에이전트 구축"이 아닌 "해결하려는 문제"에 집중하고, 정보의 출처, 필요한 기능, 안전한 자동화 범위 등을 고려해야 합니다.
* RAG의 역할 변화: RAG는 사라지는 것이 아니라, LLM, 지식, 도구, 데이터, 메모리, 정책, 워크플로우, 평가 등 더 큰 엔터프라이즈 AI 시스템의 구성 요소로 통합되고 있습니다.
* 결과 중심의 진화: AI 애플리케이션은 "답변" 제공을 넘어 "결과" 달성을 목표로 발전하고 있습니다.

시사점

엔터프라이즈 AI의 진화는 RAG를 넘어선 복잡한 시스템 설계, 소프트웨어 엔지니어링 원칙의 적용, 그리고 비즈니스 문제 해결에 중점을 둔 신뢰성 있는 솔루션 구축으로 나아가고 있습니다. AI 엔지니어링은 단순히 AI 모델을 다루는 것을 넘어, 전체 시스템의 아키텍처, 보안, 거버넌스, 운영 효율성을 종합적으로 고려하는 분야로 자리매김하고 있습니다.