Stop Rereading Your Documents. Let the AI Study Them Once.

개요

Zenii는 문서를 한 번만 AI가 학습하게 하여 반복적인 정보 합성 비용을 절감하고 일관된 답변을 제공하는 로컬 기반 AI 어시스턴트 플랫폼입니다.

주요 내용

* 기존 RAG 워크플로우의 문제점: 새로운 질문이 발생할 때마다 AI가 원시 컨텍스트를 검색하고 다시 답변을 생성하여 동일한 비용과 지연 시간이 발생하며, 때로는 일관되지 않은 답변을 제공합니다.
* Zenii의 LLM-Wiki 패턴: Andrej Karpathy가 제안한 이 패턴은 문서를 한 번만 AI가 학습시켜 구조화된 위키 페이지로 컴파일하고, 이후 쿼리는 미리 구축된 지식 기반에서 답변을 가져옵니다. 이를 통해 반복적인 합성 및 불일치 문제를 해결합니다.
* Zenii의 작동 방식:
* 문서 수집 시 LLM은 개체(사람, 조직, 도구 등)와 개념(아이디어, 비교, 주제)을 추출하여 자체 페이지를 생성하고 서로 연결합니다.
* 각 페이지는 YAML 프런트매터와 마크다운 본문으로 구성되며, [[wiki-links]]를 사용하여 상호 참조합니다.
* wiki/INGEST_PROMPT.md 파일을 편집하여 지식 컴파일 방식을 조정할 수 있습니다.
* 로컬 지식 API: Zenii 위키는 데스크톱 앱의 탭이 아니라 로컬 HTTP 서비스로 작동하여 CLI, Python 스크립트, curl 등 다양한 도구에서 쿼리할 수 있습니다.
* 구조화된 응답: 쿼리 결과는 재합성된 단락이 아닌, 위키에 저장된 정보를 기반으로 한 직접적인 답변과 출처를 포함한 구조화된 형식으로 제공됩니다.
* 멀티 모달 통합: Zenii 클라이언트(Desktop, CLI, TUI)는 동일한 위키를 공유하며, Claude Code, Cursor와 같은 외부 AI 에이전트는 대화 중에 위키 API를 도구로 호출할 수 있습니다. n8n, Zapier와 같은 자동화 플랫폼도 문서를 위키에 자동으로 수집할 수 있습니다.
* 데스크톱 앱: Zenii 데스크톱 앱은 위키를 시각적인 지식 그래프로 렌더링하여 개념, 개체, 주제 간의 연결을 탐색할 수 있습니다.
* 추가 기능:
* 다중 형식 수집: PDF, DOCX, PPTX, XLSX, 이미지, EPUB 등 다양한 형식을 마크다운으로 변환하여 LLM이 처리할 수 있습니다.
* 린트(Lint): 깨진 위키 링크, 누락된 메타데이터 등을 감지하고 수정합니다.
* 메모리 동기화: 위키 요약 정보를 Zenii의 하이브리드 메모리에 푸시하여 세션 간 지식 검색을 지원합니다.
* 감사 추적: 콘텐츠 해시, 소스-페이지 매핑, 실행 로그를 기록하여 재수집의 재현성을 보장합니다.
* 사용하면 안 되는 경우: 고객 지원 티켓, 실시간 문서, 최신 뉴스 등 1시간마다 변경되는 데이터에 대해서는 RAG가 여전히 적합합니다. 컴파일된 위키는 결정, 연구, 규약, 장기 프로젝트 맥락과 같이 안정화하려는 지식에 사용됩니다.
* 컴파일 방식의 이점: 한 번 수집된 답변은 관련 페이지를 읽기만 하면 되므로 재합성 및 추가 토큰 비용 없이 일관된 답변을 얻을 수 있습니다. 지식은 새로운 소스가 추가되고 린팅으로 링크가 정리되며, 프롬프트 변경 시 재생성을 통해 점진적으로 개선됩니다.

시사점

Zenii는 자주 변경되지 않는 지식에 대해 LLM의 반복적인 정보 처리 비용을 혁신적으로 절감하고, 사용자의 모든 도구와 AI 에이전트가 일관되고 신뢰할 수 있는 지식 기반에 접근할 수 있도록 지원하는 새로운 패러다임을 제시합니다.