The octopus architecture for AI agents

개요

"문어(Octopus) 아키텍처"는 중앙 집중식 코디네이터(뇌)가 반자율적인 하위 에이전트(팔다리)들에게 작업을 할당하고, 각 하위 에이전트가 작업을 수행한 후 결과를 보고하는 AI 에이전트 시스템 구조를 설명한다.

주요 내용

* 문어 아키텍처의 구성: 중앙 코디네이터 "뇌"는 여러 개의 "레인(lane)"이라고 불리는 반자율적인 "팔다리"를 관리하며, 각 레인은 고유한 목적을 가지고 작업을 수행하고 중앙 뇌로 보고한다.
* 주요 레인 유형:
* 정적 레인 (Static Lanes): "Curator"와 같이 장기적으로 유지되는 레인.
* 플러그인 레인 (Plugin Lanes): Google Workspace 레인과 같이 외부 플러그인이 제공하는 기능.
* 레인 템플릿 (Lane Templates): 특정 목적을 위해 인스턴스화될 수 있는 기능 단위.
* 샌드박스 스냅샷 (Sandbox Snapshots): 실제 협업자가 아닌, 미래의 샌드박스 기반 레인을 위한 파일 시스템 시작점.
* 설계 동기:
* 표면 상호작용 응답성: 에이전트의 응답 시간을 제한하고 I/O를 회피하여 빠른 상호작용을 가능하게 함.
* 역량 (Capability): 에이전트가 복잡한 작업을 위임하고 실시간으로 관찰 및 조종할 수 있는 메커니즘을 갖추도록 함.
* 지속성 (Continuity): 단일 LLM 대화를 지속적으로 큐레이션하여 에이전트의 페르소나와 단기 기억을 유지.
* 작동 방식:
* 전면(Foreground) 레인: 사용자와 직접 상호작용하며, 모든 플랫폼의 활동이 단일 전면 대화를 통해 통합됨.
* 레인 간 통신: 텍스트 기반 채팅 또는 가상 파일 시스템의 공유 폴더 내 아티팩트 참조를 통해 이루어짐.
* 작업 위임: 전면 레인은 특정 레인 템플릿(또는 샌드박스 스냅샷)을 선택하고 초기 메시지를 전달하여 작업을 위임.
* 컨텍스트 관리: 각 레인은 자체 컨텍스트를 가지며, 복잡한 작업, I/O, 샌드박스 워크플로우는 해당 레인의 컨텍스트 내에서 처리되어 전면 레인은 간결하게 유지됨.
* 아키텍처의 이점:
* 평균 상호작용 시간 (Mean-time-to-interaction) 단축: 복잡한 작업은 백그라운드 레인에서 처리되고, 전면 레인은 사용자에게 즉각적으로 응답.
* 컨텍스트 효율성 및 캐시 효율성 증대: 안정적인 전면 프롬프트는 LLM API 캐시 히트율을 높이고, 불필요한 정보의 최소화는 첫 토큰 응답 속도를 향상.
* 지속적인 큐레이션 및 컴팩션: 레인 컨텍스트가 무한정 커지는 것을 방지하고, 중요한 정보는 영구 메모리나 스킬로 승격.

시사점

이 문어 아키텍처는 AI 에이전트가 사용자에게 빠르고 일관된 경험을 제공하는 동시에 복잡하고 장기적인 작업을 수행할 수 있도록 하는 효과적인 구조를 제시하며, 플랫폼 및 작업 경계를 넘어선 정보 연결성을 강화한다.