I built a low-latency AI companion that plays Skyrim with me

개요

Varkos는 플레이어와 함께 Skyrim을 플레이하는 실시간 AI 게임 동반자로, 낮은 지연 시간, 지속적인 계획, 감정적인 경험을 제공하는 것을 목표로 합니다.

주요 내용

• 목표: 플레이어와 함께 플레이하며 유용하고 즉각적인 경험을 제공하는 AI 게임 동반자 구축. 기존 LLM 기반 NPC 대화 시스템의 약점인 세계 이해도 부족 및 지연 시간 문제를 해결하고자 합니다.
• 기능:
• 복잡한 명령 처리: 즉각적인 행동을 넘어선 조건부 명령, 아이템 검색, 숨바꼭질, 상자 루팅 및 아이템 전달, 모든 아이템 수집 등 다단계 명령을 이해하고 수행합니다.
• 전투: 게임 이벤트를 기반으로 플레이어에게 경고하고, 네이티브 컨트롤을 사용하여 전투에 참여하며, 감정 상태에 따라 전투 방식을 결정합니다.
• 성격 진화: 플레이어와의 상호 작용을 통해 시간이 지남에 따라 성격이 점진적으로 변화하며, 초기 특성(예: 불신, 오만함)에서 점차 길들여지고 플레이어에게 애착을 형성하는 방향으로 발전합니다.
• 게임 간 이동 (Void mode): 게임이 종료되면 'void mode'로 전환되어 게임 외부에서도 존재하며, 이는 다른 게임으로의 전환 시 연결고리 역할을 합니다.
• 기술 스택:
• 오디오 처리: 지속적으로 활성화된 마이크에서 사용자 발언을 신속하게 텍스트로 변환하기 위해 최적화된 Qwen3-ASR 1.7b와 VAD 및 렉시컬 분석 기법을 사용합니다.
• 오디오 생성: PocketTTS-Raven 및 qwen-3-tts의 최적화된 버전을 사용하여 빠르고 감정적으로 제어된 음성 출력을 생성합니다.
• ALE (Action Latent Encoder): 임베딩, 소형 분류기, 명시적 규칙 및 전통적인 ML을 결합한 하이브리드 시스템으로, 플레이어의 명령 구조를 감지하고 세계 상태와 매칭하여 행동을 결정하고 계획을 분해합니다. 이 시스템은 각 게임에 맞게 조정되어야 합니다.
• 응답 생성: ALE에서 선택된 행동과 플레이어의 페르소나, 감정, 최근 기록 등을 융합하기 위해 로컬로 미세 조정된 LLM을 사용하며, 환각을 방지하기 위한 추가적인 그라운딩 과정을 거칩니다.
• 성능: 음성 인식, 오디오 생성, 행동 분석, 응답 생성 및 그라운딩까지 포함하여 약 500ms 이내의 낮은 지연 시간을 달성할 수 있습니다.
• 제한 사항: 실시간으로 작동하는 로컬 모델은 여러 턴에 걸친 대화 스레드를 유지하는 데 한계가 있어 장시간 대화 시 혼란스러워 보일 수 있습니다.

시사점

Varkos 프로젝트는 LLM의 한계에도 불구하고 기존 기술과 LLM을 결합하여 플레이어와 상호 작용하는 몰입감 있는 AI 동반자를 구축할 수 있는 가능성을 보여주며, 향후 게임 경험의 새로운 형태를 제시합니다.