What If Your Employees Never Had to Know Which System to Check?

개요

One Desk AI는 직원들이 질문에 대한 답을 찾기 위해 여러 시스템을 확인해야 하는 불편함을 해소하고, 하나의 인터페이스에서 문서, 데이터베이스, 웹 정보를 통합하여 답변을 제공하는 시스템이다.

주요 내용

* 문제점: 기존에는 운영팀원이 특정 시스템의 사고 대응 런북을 찾아야 할 때, 동료에게 묻거나 Confluence를 검색하는 등 여러 단계를 거쳐야 했으며, 데이터 분석가는 어제 주문 수를 확인하기 위해 BI 툴을 사용하다가 오류를 겪는 등 정보 접근에 비효율이 발생했다. 이는 기술적인 문제가 아니라 정보 라우팅의 실패다.
* One Desk AI의 작동 방식: 사용자의 질문 하나를 받아 시스템이 자체적으로 정보의 출처를 파악하고 답변을 생성한다.
* 내부 문서에 대한 질문은 벡터 검색 기반의 Knowledge Agent가 처리한다.
* 데이터 관련 질문은 SQL Agent가 질문을 받아 안전성을 검증한 후 데이터베이스 쿼리를 실행하여 처리한다.
* 그 외 일반적인 질문은 Research Agent가 웹 검색 후 관련 페이지를 요약하여 처리한다.
* 최종적으로 Author Agent가 응답을 보기 좋게 포맷하고 개인 식별 정보(PII)를 제거하며, 어떤 에이전트가 어떤 작업을 수행했는지 추적 정보를 포함하여 사용자에게 전달한다.
* 기술 구성:
* AWS ECS Fargate에 배포되어 서버 관리 부담이 없으며, 요청에 따라 컨테이너가 시작되고 수요에 따라 확장된다.
* AI 모델은 AWS Bedrock의 Claude 3.5 Sonnet을 사용하며, 사용량 기반 요금제로 운영된다.
* LangGraph 라이브러리를 활용하여 에이전트 간의 순차적인 실행 흐름을 관리하며, WebSocket을 통해 장기 실행 AI 응답의 진행 상황을 클라이언트에게 스트리밍한다.
* 보안 및 개인 정보 보호: 시스템 앞단에 가드레일 레이어가 있어 SQL Injection과 같은 공격을 사전에 차단한다. Author Agent는 모든 응답에서 PII를 마스킹하며, 이 가드레일 및 마스킹 규칙은 설정 파일(YAML)을 통해 확장 가능하다.
* 비용 및 설정: 인프라스트럭처 비용은 비교적 낮으나, 초기 설정(문서 인덱싱, 에이전트 구성, 데이터베이스 연결)에 시간이 소요될 수 있다. 설정은 주로 단일 YAML 파일에서 관리된다.
* 한계점:
* 내부 문서가 분산되어 있거나 오래되었다면 부정확한 답변을 제공할 수 있다.
* "우리 상황은 어떤가?"와 같은 모호한 질문에는 효과적으로 대응하지 못한다.
* 데이터베이스의 데이터 품질 문제에 대해서는 별도의 조치가 필요하다.
* 향후 계획: 현재 텍스트 기반 질문 처리에서 오디오 질문 처리로 확장할 계획이며, 웹 검색 시 신뢰할 수 있는 출처로 도메인 필터링을 추가하여 검색 품질을 향상시킬 예정이다.

시사점

One Desk AI는 복잡한 내부 정보 시스템을 효과적으로 탐색할 수 있도록 지원함으로써, 비기술적 관리자부터 기술 전문가까지 모든 직원이 정보 접근성을 높이고 업무 효율성을 개선하는 데 기여할 수 있다. 또한, 감사 및 규정 준수를 위한 명확한 추적 정보 제공은 AI 도구의 신뢰성을 강화한다.