Δ-Mem: Efficient Online Memory for Large Language Models

개요

$\delta$-mem은 LLM이 장기 어시스턴트 및 에이전트 시스템에서 과거 정보를 축적하고 재사용할 수 있도록 돕는 경량 메모리 메커니즘으로, 동적 어텐션 연산에 통합되어 효율적인 메모리 활용을 제공한다.

주요 내용

• $\delta$-mem은 기존의 완전 어텐션 백본에 고정된 상태에서 조작되는 간결한 연관 메모리(associative memory)를 통합하는 방식으로 작동한다.
• 과거 정보는 델타-룰 학습(delta-rule learning)을 통해 업데이트되는 고정 크기의 상태 행렬로 압축된다.
• 생성 과정에서 이 메모리 상태의 판독값(readout)을 사용하여 백본의 어텐션 연산에 대한 저랭크(low-rank) 보정을 생성한다.
• 단 $8\times8$ 크기의 온라인 메모리 상태만으로도 고정 백본 대비 평균 점수를 $1.10\times$, 기존 메모리 방식 대비 $1.15\times$ 향상시킨다.
• MemoryAgentBench에서는 $1.31\times$, LoCoMo에서는 $1.20\times$의 성능 향상을 보이며 메모리 의존적인 벤치마크에서 더 큰 이점을 제공한다.
• 전반적인 일반 능력은 크게 유지하면서 메모리 기능을 향상시킨다.
• 완전한 파인튜닝, 백본 교체, 명시적인 컨텍스트 확장 없이도 효율적인 메모리를 구현할 수 있음을 보여준다.

시사점

$\delta$-mem은 LLM의 메모리 기능을 효율적으로 향상시켜 장기 대화 및 에이전트 시스템의 성능을 개선하고, 경량화된 메모리 솔루션을 통해 모델의 확장성과 실용성을 높일 수 있는 가능성을 제시한다.