I Built MoneyBuddy in 10 Days: A Multilingual AI Voice Agent for India's Financial Services🎙️

개요

MoneyBuddy는 인도의 금융 서비스를 위한 다국어 AI 음성 에이전트로, 10일간의 개발을 통해 지속적인 메모리, 금융 도구, 아웃바운드 통화, 인간 에스컬레이션, 분석 및 전문 에이전트 핸드오프 기능을 갖춘 시스템으로 발전했습니다.

주요 내용

* 문제 해결: 정부 금융 제도의 복잡성과 접근성 문제를 해결하기 위해, 음성 기반의 자연스러운 대화를 통해 금융 정보 제공 및 안내를 목표로 MoneyBuddy를 개발했습니다.
* 기능 확장: 초기 음성 대화 기능을 넘어, 지속적인 메모리(SQLite), 금융 도구(Scheme Data), 아웃바운드 통화(LiveKit SIP), 인간 에스컬레이션, 분석(Analytics), 전문 에이전트 핸드오프 기능을 추가했습니다.
* 핵심 구성 요소: Deepgram STT (음성-텍스트 변환), Gemini LLM (추론, 대화, 도구 선택), Murf Falcon TTS (텍스트-음성 변환), LiveKit (실시간 오디오 전송)을 중심으로 구축되었습니다.
* 사용자 경험: 인도 사용자를 위해 Murf Falcon의 인도 억양 음성, 영어, 힌디어, 힝글리시 지원, 짧고 자연스러운 문장, 명확한 안내 메시지를 제공합니다.
* 메모리 및 데이터 활용: LLM에 모든 정보를 직접 주입하는 대신, SQLite를 사용한 메모리 관리 기능과 금융 도구를 통해 필요한 정보를 검색하고 활용합니다.
* 안전 장치: OTP, PIN, 비밀번호 등 민감한 금융 정보 요구 금지, 보장된 제도 승인 약속 금지 등 금융 안전 가드레일을 설정했습니다.
* 아웃바운드 통화: 특정 정부 지원 제도 마감일 알림 등 사용자가 미처 인지하지 못한 정보에 대해 선제적으로 전화를 걸어 안내합니다.
* 인간 에스컬레이션: AI가 해결하기 어려운 금융 사기, 복잡한 의사 결정이 필요한 경우, 사용자 동의 하에 요약된 정보를 전문가에게 전달합니다.
* 다중 에이전트 시스템: 일반적인 금융 상담 외에, 정부 제도 전문 지식이 필요할 때 별도의 '정부 제도 전문가' 에이전트에게 대화를 이관합니다.
* 성능 및 신뢰성: 개발 과정에서 테스트 스위트를 통해 각 기능의 안정성을 검증했으며, 최종적으로 14/14, 16/16, 4/4 테스트를 통과했습니다.

시사점

MoneyBuddy 개발은 LLM 자체의 능력보다는, 음성 에이전트를 실제 애플리케이션으로 만들기 위해 필요한 메모리, 도구, 안전 장치, 관찰 가능성, 실패 처리 등 주변 시스템 구축의 중요성을 강조하며, 음성 인터페이스에서 지연 시간, 상태 관리, 응답 형식 등이 제품 결정의 핵심 요소임을 보여줍니다.