One agent, many skills: structuring a production AI assistant

개요

기업용 SaaS 플랫폼 내에서 개발된 대화형 AI 비서가 단일 거대 모델 대신 개별 '스킬(skills)' 단위로 재구조화되어 기능 확장성과 유지보수성이 크게 향상되었습니다.

주요 내용

* 초기 문제점: 초기 버전의 AI는 모든 기능을 하나의 통합된 모델로 처리했으나, 기능이 추가될수록 코드가 복잡해지고 수정 시 다른 부분에 예기치 않은 문제를 발생시키는 '판데모니움(pandemonium)' 현상이 발생했습니다.
* 구조화 전략: AI 비서를 단일 거대 모델 대신 여러 개의 독립적인 '스킬'로 분리하는 방식으로 재설계했습니다.
* 스킬 기반 아키텍처:
* 사용자의 프롬프트는 관련 스킬을 결정하는 분류기(classifier)를 먼저 거칩니다.
* 각 스킬은 특정 작업(예: 고객 재할당)만을 담당하는 독립적인 모듈로 구성됩니다.
* 고객 또는 사용자 식별과 같은 공통 작업은 모든 스킬에 복사 붙여넣기 되지 않고, 하나의 공유 계층(shared layer)에서 처리됩니다.
* 스킬은 자신의 담당 범위를 벗어나는 요청은 다른 스킬에게 이관(hand off)합니다.
* 장점: 새로운 기능을 추가할 때 기존 스킬을 수정할 필요 없이 새로운 스킬만 추가하면 되므로, 테스트가 예측 가능해지고 변경에 대한 두려움이 줄어들었습니다.

시사점

AI 시스템을 구축할 때 기능 추가 시 시스템이 취약해진다면, AI 자체의 문제가 아니라 AI를 구조화하는 방식에 문제가 있을 가능성이 높으며, 이를 개별 스킬로 분리하는 것이 효과적인 해결책이 될 수 있습니다.