Cómo darle memoria a tu bot de WhatsApp con IA (sin construir la infraestructura)

개요

WhatsApp 봇에 AI를 적용할 때 겪는 대화 기록 관리의 어려움을 해결하기 위해, 자체 인프라 구축 없이 메모리 API를 활용하는 방법을 제시합니다.

주요 내용

• 기존 방식의 문제점: WhatsApp은 각 메시지를 독립적으로 처리하여 이전 대화 내용을 기억하지 못합니다. 이를 해결하기 위해 개발자들은 대화 기록을 저장할 데이터베이스, LLM에 전달할 컨텍스트를 구성하는 로직, 토큰 제한을 관리하는 기능, 다양한 LLM 프롬프트 형식에 맞게 대화 기록을 재구성하는 작업 등 반복적인 인프라 구축에 시간을 소요해야 합니다.
• 메모리 API 활용 방안: REST API를 사용하여 대화 기록 저장 및 컨텍스트 조회를 위임합니다. 사용자는 메시지를 POST로 저장하고, GET으로 이미 포맷된 컨텍스트를 받아 LLM에 바로 전달할 수 있습니다.
• API의 기능:
• 대화 기록 관리: 메시지 저장 및 토큰 제한에 따른 자동 요약 및 잘라내기를 통해 항상 프롬프트에 맞는 컨텍스트를 제공합니다.
• LLM 호환성: OpenAI, Anthropic 등 다양한 LLM의 프롬프트 형식에 맞춰 컨텍스트를 자동 조정합니다. (예: Anthropic은 system 메시지와 messages를 분리)
• 클라이언트 메타데이터 저장: 각 세션별로 클라이언트 이름, 마지막 주문 정보 등 메타데이터를 저장할 수 있습니다.
• 구현 예시: Python에서 httpx 라이브러리를 사용하여 메모리 API에 메시지를 POST로 저장하고, /context 엔드포인트를 통해 OpenAI 형식으로 포맷된 컨텍스트를 가져와 LLM 호출에 사용하는 코드를 보여줍니다.
• 각 접근 방식의 권장 사례:
• 수동 구축: 장난감 봇, 단일 클라이언트, 내부 동작 학습을 원할 때.
• 메모리 API 사용: 다수의 봇, 다수의 클라이언트를 다루거나 인프라 유지보수를 원하지 않을 때.

시사점

메모리 API를 활용하면 WhatsApp 봇 개발 시 반복적인 인프라 구축 부담을 줄이고, AI 에이전트의 핵심 로직 개발에 집중할 수 있어 효율적인 개발이 가능합니다.