Stop Stuffing Your LLM Agent's Context Window: Structured Memory Categories with Mem0

개요

Mem0은 LLM 에이전트의 컨텍스트 윈도우에 다양한 종류의 메모리를 효율적으로 관리하고 검색할 수 있는 구조화된 메모리 카테고리 시스템을 제안하며, 이를 통해 오래 지속되는 에이전트의 성능 저하 문제를 해결합니다.

주요 내용

• LLM 에이전트의 메모리 관리가 단순한 텍스트 저장 방식으로는 오래 지속되는 에이전트에서 문제점을 야기하며, 사실의 중요도와 유효 기간이 다르기 때문에 발생하는 두 가지 실패 모드(오래된 정보 재사용, 저가치 정보로 인한 컨텍스트 윈도우 낭비)가 존재합니다.
• 에이전트의 메모리는 '사용자 사실(User facts)', '피드백/수정(Feedback/corrections)', '프로젝트 상태(Project state)', '참조(References)'의 네 가지 종류로 분류될 수 있으며, 각기 다른 방식으로 관리되어야 합니다.
• Mem0의 메타데이터 기능을 활용하여 이러한 메모리 종류별로 'kind' 태그를 지정하고, 이를 통해 검색 및 필터링 시 메모리를 구조화할 수 있습니다.
• 메모리 검색은 단일 검색 대신 종류별로 분리하여 수행하며, '피드백' 메모리는 시스템 프롬프트 상단에 직접 주입하여 일관성을 보장하고, '프로젝트 상태' 메모리는 만료 처리를 통해 오래된 정보의 검색을 방지합니다.
• 메모리 만료 처리는 읽기 경로에서 수행하여 저장소를 자체적으로 정리하고, 컨텍스트 윈도우의 토큰 사용량을 효율적으로 관리합니다.
• 검색 효율성을 높이기 위해 '피드백' 메모리는 세션 시작 시 캐싱하고, 프로젝트 상태 검색은 관련 쿼리 시에만 수행하여 불필요한 검색 횟수를 줄입니다.

시사점

구조화된 메모리 카테고리는 LLM 에이전트가 장기간에 걸쳐 일관성을 유지하고, 컨텍스트 윈도우의 효율성을 높이며, 오래된 정보로 인한 오류를 방지하는 데 필수적이며, Mem0은 메타데이터와 필터링 기능을 통해 이러한 구조화된 메모리 시스템을 구현할 수 있는 기반을 제공합니다.