The bug was at step 2. You noticed it at step 5.

개요

멀티 에이전트 시스템 디버깅에서 발생하는 잠재적인 문제점은 에이전트 간의 정보 전달(handoff) 단계에서 발생하는 것으로, 최종 결과가 틀렸을 때 문제점을 파악하기 어렵다는 점을 지적합니다.

주요 내용

- 멀티 에이전트 시스템의 디버깅 복잡성: 단일 에이전트와 달리 멀티 에이전트 시스템에서는 에이전트 A가 에이전트 B에게 작업을 넘기고, B가 도구를 사용한 후 결과를 다시 A에게 전달하는 과정에서 오류가 발생할 수 있습니다. 최종 결과가 틀렸을 때, 오류는 최종 단계(step 5)가 아닌 정보 전달 단계(step 2)에서 발생했을 가능성이 높습니다.
- 정보 전달(Handoff)의 사일런트 오류: 각 에이전트가 자신의 상태를 "올바르게" 기록하더라도, 전달하는 정보와 수신하는 정보 사이에 간극이 발생하면 이를 파악하기 어렵습니다. 단순히 에이전트별 출력만 기록하면 이 간극이 드러나지 않아 문제가 발생합니다.
- 정보 전달 문제 해결을 위한 3가지 방법:
1. 정보 전달을 주요 이벤트로 취급: 에이전트 A의 완료 또는 에이전트 B의 시작 외에도, 정보 전달 결정(이유), 전송되는 페이로드, 수신자에게 전달된 내용, 수신자가 접근 가능한 리소스(도구, 메모리 범위, 권한) 등을 기록해야 합니다.
2. 전체 재실행 대신 단계별 검사 선호: 도구 사용으로 인한 부작용(이메일 발송, 티켓 업데이트 등)이 있는 경우 전체 그래프를 재실행하는 것은 위험합니다. 대신 정보 전달 단계로 바로 이동하여 상태를 검사하는 것이 중요합니다.
3. 빠른 차이 감지 (저비용): 송신자 스냅샷(A가 보낸 정보)과 수신자 스냅샷(B가 받은 정보)을 비교하여 차이가 발생하면 일찍 감지할 수 있습니다. 이는 전체 그래프를 재실행하는 것보다 훨씬 효율적입니다.
- "에이전트 관찰 가능성(Agent Observability)"의 방향: 멀티 에이전트 시스템에서는 각 에이전트의 LLM 스팬 외에도, 에이전트 간의 중첩/연결된 실행, 결정 시점의 메모리 가시성, 승인된 도구, 논리적 작업당 비용 및 재시도 횟수 등을 포함하는 경계 인식 운영이 필요합니다.
- Cartha SDK의 역할: Cartha는 추적, 스코프 메모리, 예산, 멀티 에이전트 네스팅 등을 지원하며, 향후 fork-from-node 및 자동 정보 전달 차이점 탐지 기능을 개발 중입니다.

시사점

멀티 에이전트 시스템의 복잡성을 효과적으로 관리하기 위해서는 에이전트 자체의 출력뿐만 아니라, 에이전트 간의 정보 전달 과정을 주요 이벤트로 기록하고 검사하는 것이 필수적이며, 이를 통해 디버깅 효율성을 크게 향상시킬 수 있습니다.