Vane (Perplexica 2.0) Quickstart With Ollama and llama.cpp

개요

Vane(이전 Perplexica 2.0)은 웹 검색과 로컬 또는 클라우드 LLM을 결합한 자체 호스팅 가능한 AI 검색 엔진으로, 전체 스택을 사용자가 제어할 수 있게 합니다.

주요 내용

• Vane의 아키텍처 및 기능: Vane은 Next.js 기반의 애플리케이션으로, 채팅 UI, 검색, 인용 기능이 통합되어 있습니다. 사용자의 쿼리를 분류하고, 필요한 경우 외부 컨텍스트(웹 결과, 사용자 업로드 파일)를 검색하여 Retrieval Augmented Generation(RAG)을 통해 답변을 생성하며, 사용된 참조를 인용합니다. 웹 검색에는 주로 SearxNG가 활용됩니다.
• Perplexica에서 Vane으로의 이름 변경: Vane은 상업 브랜드와의 혼동 방지, 프로젝트 범위 확장(단순 클론에서 범용 답변 엔진으로), 배포 아티팩트의 일관성 확보 등을 이유로 Perplexica에서 Vane으로 이름이 변경되었습니다.
• Docker Quickstart 및 설정: Vane은 단일 Docker 컨테이너 실행으로 SearxNG를 포함한 기본 설정을 쉽게 할 수 있습니다. 외부 SearxNG를 사용하는 경우 SEARXNG_API_URL 환경 변수를 설정해야 하며, JSON 출력 및 Wolfram Alpha 엔진 활성화가 권장됩니다. 업데이트는 새 이미지 풀 후 컨테이너 재시작으로 간단하게 이루어집니다.
• 로컬 LLM 설정 (Ollama): Vane은 Ollama를 통해 로컬 LLM을 지원합니다. Docker 환경에서 Ollama에 연결할 때 호스트 IP 주소(http://host.docker.internal:11434 또는 Linux에서는 호스트의 사설 IP)를 사용해야 하며, Ollama 서버가 0.0.0.0으로 바인딩되도록 설정해야 할 수 있습니다. 모델을 메모리에 유지하기 위해 OLLAMA_KEEP_ALIVE 및 Vane의 keep_alive 파라미터를 활용할 수 있습니다.
• 로컬 LLM 설정 (llama.cpp): Vane은 llama.cpp를 직접 사용하거나 LM Studio와 같은 OpenAI-API 호환 서버를 통해 연동할 수 있습니다. llama.cpp의 HTTP 서버 (llama-server)를 실행하여 OpenAI 호환 엔드포인트를 통해 Vane과 연결할 수 있습니다. LM Studio 또한 OpenAI 호환 API를 제공하므로 Vane에서 Provider로 설정 가능합니다.
• 최근 업데이트 및 발전: Vane은 최근 몇 차례의 릴리스를 통해 새로운 설정 마법사, 향상된 Provider(Connections) 관리, LangChain 제거 및 자체 구현, 파일 업로드 지원, Ollama keep_alive 파라미터 추가, 딥 리서치 모드 및 컨텍스트 관리 개선 등 지속적으로 발전하고 있습니다.

시사점

Vane은 사용자가 개인 데이터의 프라이버시를 유지하면서 강력한 AI 검색 기능을 구축할 수 있는 유연하고 확장 가능한 솔루션을 제공하며, 로컬 LLM과의 통합을 통해 자체 호스팅 AI 에코시스템의 실용성을 높입니다.