The lesson, stated plainly

개요

저장된 임베딩(embedding)을 활용하려면 해당 임베딩을 생성한 임베더(embedder)도 함께 저장해야 하며, 이는 벡터 인덱스(vector index)의 정확성을 보장하는 데 필수적입니다.

주요 내용

• 벡터 인덱스는 생성 시 사용된 특정 임베딩 모델과 연관되어야만 의미를 가지며, 임베더가 분리될 경우 눈에 보이지 않는 차원의 오류가 발생할 수 있습니다.
• 새로운 임베더는 이제 단일 카트리지 파일 내부에 포함되어, 임베딩 모델과 함께 로드되며 모든 검색 및 학습에 동일한 모델을 사용합니다.
• 차원 가드(dimension guard) 기능이 추가되어, 이전 카트리지와 모델 간의 불일치 발생 시 검색 결과가 왜곡되는 대신 키워드 검색으로 대체됩니다.
• 이로써 문서를 임포트하여 에이전트가 응답하게 하는 기능이 세션 종료 및 재오픈 후에도 유지됩니다.
• 0.9.6 버전에서는 프로시저(Procedures)와 규칙(rules)이 오류 없이 기억되며, 세션 자동 압축 전 메모리가 저장되고 이후 복원되어 긴 세션에서도 대화의 흐름이 유지됩니다.
• 여러 도구가 단일 메모리 파일을 안전하게 공유할 수 있도록 프로세스 간 쓰기 잠금(cross-process write-lock)이 카트리지 폴더 외부로 이동되었습니다.
• neonmem.com에서 개인 사용자에게 무료로 제공되며, Windows 및 Linux AppImage를 지원합니다.

시사점

임베딩 모델과 데이터를 함께 관리하는 새로운 방식은 장기적인 기억 보존의 신뢰성을 높이고, 사용자 경험의 일관성을 보장하며, 다양한 도구와의 안전한 통합을 가능하게 합니다.