Open Knowledge Format vs RAG: Why Your Agent Should Read a Wiki

개요

Open Knowledge Format (OKF)는 AI 에이전트가 사실을 검색하는 방식에서 기존의 검색 증강 생성(RAG) 방식과 차별화되는 새로운 접근 방식을 제시합니다. OKF는 지식의 체계적인 관리와 신뢰성을 강조하여 에이전트의 정보 접근성을 향상시키는 데 초점을 맞춥니다.

주요 내용

* RAG의 한계: 기존 RAG 방식은 방대한 데이터에서 유사한 조각을 검색하여 모델이 추론하도록 하는데, 이는 정의된 지식이나 복잡한 관계를 정확하게 파악하는 데 한계가 있습니다. 문서가 분할되고 링크가 사라지면서 잘못된 추론이나 부정확한 정보 전달의 위험이 있습니다.
* Open Knowledge Format (OKF) 소개: OKF는 AI 에이전트가 직접 읽고 유지 관리할 수 있는 위키 형태의 지식 저장소입니다. 새로운 정보가 도착하면 기존 페이지에 통합되고, 상호 참조가 업데이트되며, 모순이 기록됩니다. 이 지식은 한 번 컴파일되어 최신 상태로 유지됩니다.
* OKF의 구조: OKF 번들은 마크다운 파일로 구성되며, 각 파일은 테이블, 메트릭, API, 정책 또는 런북과 같은 하나의 개념을 나타냅니다. 파일 경로는 해당 개념의 고유 식별자 역할을 합니다. 각 파일은 type 필드를 포함하는 YAML 프런트매터로 시작하며, title, description, tags, resource URI와 같은 추가 필드를 가질 수 있습니다. 개념들은 일반 마크다운 링크를 통해 상호 연결되어 디렉토리 트리 위에 그래프를 형성합니다.
* OKF의 장점:
* 명확한 관계: 메트릭, 소스 테이블, 관련 런북 등이 파일 내 링크로 명확하게 정의되어 있어, 벡터 검색처럼 관계가 파편화되는 것을 방지합니다.
* 신뢰성 및 검증: verified, sources, generated, status, stale_after와 같은 프런트매터 필드를 통해 지식의 출처, 작성자, 검증 상태, 최신성 등을 명시하여 신뢰도를 높입니다.
* 안정적인 추론: 직접 파일 읽기는 검색 및 추론의 두 가지 잠재적 실패 지점(retriever, reasoner) 중 검색기를 제거하여 실패 원인 분석을 단순화합니다.
* 비용 효율성: 임베딩, 벡터 데이터베이스, 리랭커를 건너뛰고 실제 접근하는 개념에 대한 파일 읽기 토큰만 비용을 지불합니다.
* 인간 가독성: OKF 파일은 사람도 쉽게 읽고 Git으로 관리할 수 있어, 코드와 동일한 방식으로 검토, 롤백, 버전 관리가 가능합니다.
* OKF와 RAG의 역할 분담: OKF는 이름 붙일 수 있고 변경 시점을 알 수 있으며 잘못된 답변에 대한 비용이 높은(high-stakes) 명명된 사실에 적합합니다. 반면 RAG는 방대한 코퍼스에서 예측 불가능한 문서 검색에 사용됩니다 (예: 지원 티켓, Slack 스레드, PDF).
* Attested Computation: OKF v0.2에는 에이전트가 수행한 계산의 정확성을 보장하는 기능이 포함됩니다. 이는 승인된 쿼리 또는 API 호출, 실행자, 결정론적 검증자를 포함하여 에이전트가 생성한 결과가 원래 정의된 계산과 일치하는지 확인합니다.
* 시작 방법: Google Cloud와 같은 특정 도구가 없어도 OKF를 시도할 수 있습니다. 각 개념을 별도의 파일에 명시하고 type 및 title을 지정하며, 인간이 탐색하는 방식대로 파일을 링크하면 됩니다. Git으로 관리하면 버전 관리 및 협업이 용이합니다.

시사점

OKF는 AI 에이전트가 복잡한 지식을 정확하고 신뢰할 수 있게 접근하도록 하는 새로운 표준을 제시합니다. 기존 RAG 방식의 한계를 극복하고, 지식의 체계적인 관리, 검증, 버전 관리를 통해 에이전트의 성능과 신뢰성을 향상시킬 수 있는 실무적인 해결책을 제공합니다.