Novasas Agent: Building an AI Support System That Actually Remembers Customers

개요

Novasas Agent는 이전 고객 상호작용을 기억하고 맥락적 기억을 활용하여 개인화된 응답을 제공하는 AI 지원 시스템입니다.

주요 내용

* 기존 AI 시스템의 한계: 현재 대부분의 AI 지원 시스템은 상태를 저장하지 않아(stateless) 모든 대화를 새로운 상호작용으로 취급하며, 이로 인해 고객은 반복적으로 동일한 정보를 제공해야 하고 개인화된 경험을 얻기 어렵습니다.
* Novasas Agent의 솔루션: Novasas Agent는 실시간 이중 채팅 대시보드를 통해 메모리 없이 동작하는 AI와 메모리를 가진 AI의 차이를 시각적으로 비교하여 보여줍니다.
* 기술 스택: Python, Groq API, GitHub, Hindsight API를 사용했으며, 언어 모델로는 "llama-3.3-70b-versatile"을 활용했습니다.
* 메모리 시스템 구현: Python 딕셔너리를 사용하여 초기 메모리 시스템을 구축했으며, get_customer_history 함수로 이전 상호작용을 검색하고 save_interaction 함수로 새로운 상호작용을 동적으로 저장합니다.
* 메모리 활용 방식: 메모리 활용 AI는 응답 생성 전에 고객의 이전 대화 내용을 검색하여 AI 프롬프트에 주입함으로써, 반환 고객을 인식하고 이전 문제를 기억하며 더 개인화된 지원을 제공합니다.
* 메모리 부재 AI 구현: 비교를 위해 메모리 없이 항상 사용자를 신규 고객으로 취급하는 버전도 개발되었습니다.
* 이중 채팅 대시보드: 메모리 유무에 따른 AI 행동 차이를 즉각적으로 이해할 수 있도록, 좌측에는 메모리를 가진 AI가, 우측에는 메모리가 없는 AI가 동작하는 형태로 구성되었습니다.
* 개발 중 겪은 어려움: 초기에는 메모리가 런타임 변수에만 저장되어 재시작 시 사라지는 문제(메모리 리셋)와 API 응답의 일관된 처리 문제가 있었습니다.
* 지속적인 메모리의 중요성: 지속적인 메모리는 AI 시스템의 개인화된 응답, 원활한 대화, 반복 감소, 인간적인 상호작용 개선에 기여합니다.
* 향후 개선 계획: 멀티 유저 인증, 음성 기반 지원, 고급 메모리 데이터베이스, 클라우드 배포, 장기 의미론적 메모리, 스마트한 검색 시스템 도입 등을 계획하고 있습니다.

시사점

Novasas Agent 프로젝트는 단순한 메모리 시스템만으로도 AI 시스템의 행동을 극적으로 개선할 수 있음을 보여주며, AI는 단순히 응답하는 것을 넘어 기억함으로써 상호작용을 지능적이고 개인적이며 인간적으로 만들 수 있다는 점을 시사합니다.