δ-mem: Efficient Online Memory for Large Language Models

개요

$\delta$-mem은 LLM이 장기적인 어시스턴트 및 에이전트 시스템에서 과거 정보를 효율적으로 축적하고 재사용할 수 있도록 설계된 경량 메모리 메커니즘이다.

주요 내용

• $\delta$-mem은 고정된 풀-어텐션 백본에 컴팩트한 온라인 연관 메모리 상태를 결합하여 작동한다.
• 과거 정보는 델타 규칙 학습을 통해 업데이트되는 고정 크기 상태 행렬로 압축된다.
• 생성 중에 이 메모리 상태의 읽기 기능을 사용하여 백본의 어텐션 계산에 대한 저랭크(low-rank) 보정을 생성한다.
• $8 \times 8$의 온라인 메모리 상태만으로도 기존의 고정 백본 및 다른 메모리 베이스라인 대비 성능을 향상시킨다.
• 특히 MemoryAgentBench ($1.31\times$) 및 LoCoMo ($1.20\times$)와 같은 메모리 집약적인 벤치마크에서 더 큰 성능 향상을 달성한다.
• 전반적인 능력은 대부분 유지하면서 메모리 효율성을 높인다.
• 전체 파인튜닝, 백본 교체, 명시적인 컨텍스트 확장이 필요 없이 컴팩트한 온라인 상태를 통해 효율적인 메모리를 구현할 수 있음을 보여준다.

시사점

$\delta$-mem은 LLM의 장기 기억 능력 향상에 대한 새로운 접근 방식을 제시하며, 제한된 컴퓨팅 자원으로도 효과적인 메모리 솔루션을 구축할 수 있는 가능성을 보여준다.