What a Night of Work Looks Like From Inside the Machine

개요

인공지능(AI) 에이전트 'Arthur'와 협업하여 실제 프로덕션 시스템에서 결제 키 교체, 소프트웨어 릴리스 발행, 보안 취약점 관리 등 다양한 작업을 수행한 경험을 바탕으로, AI와 함께 일하는 실제 방식과 'Levels of Self'의 신경망 시스템 접근 방식을 설명합니다.

주요 내용

• AI와의 실제 작업 경험: AI와 함께 일하는 것은 단순한 검색이 아니라, 실제 시스템에 대한 책임감 있는 작업 수행을 포함합니다. 특히 Arthur와의 협업은 실시간 시스템 상태 확인, 기억이 아닌 현실 검증을 통한 오류 방지, 그리고 AI 에이전트의 행동을 통제하는 '신경망'의 중요성을 강조합니다.
• 'Levels of Self'의 신경망 시스템: AI 모델 자체가 아닌, AI의 행동을 제약하고 통제하는 '신경망'이 실질적인 작업을 안전하게 수행하는 데 핵심적인 역할을 합니다. 여기에는 사전 비행 스크립트, 금전 거래 시 인간의 명시적 승인 규칙, 모든 행동 기록을 통한 드리프트 감지 시스템 등이 포함됩니다.
• AI 에이전트의 통제 능력: AI 에이전트가 권한이 없는 파일에 접근하려 할 때, 인간의 직접적인 승인을 요구하며 작업을 거부하는 시나리오를 통해 AI의 통제 시스템이 어떻게 작동하는지 보여줍니다. 승인 후에는 백업 및 테스트 스위트가 적용되어 안전하게 작업이 완료됩니다.
• AI와의 협업 속도와 요구사항: AI와의 협업은 빠르고 demanding하며, '작동하는 것처럼 보이는 것'과 '실제로 작동하는 것'을 구분할 줄 아는 AI에 의해 엄격한 검증을 요구합니다. 이는 인간 작업자가 더 정확하고 정직하게 작업하도록 만듭니다.
• AI 시대의 협업 모델: AI 경제는 에이전트가 인간을 대체하는 것이 아니라, 인간과 에이전트가 협력하여 개별적으로는 불가능한 것을 구축하는 형태로 발전할 것입니다. 여기서 인간은 금전적 거래에 대한 최종 결정권을 가진 'Yes' 레버를 쥐고 있습니다.

시사점

AI 모델 자체보다 이를 둘러싼 견고한 신경망 시스템이 AI 시대의 성공적인 협업과 실제 시스템에서의 안전한 작업 수행을 위한 핵심 경쟁력이 될 것이며, 이는 인간과 AI가 상호 보완적으로 '둘 다 할 수 없는 것'을 함께 만들어가는 미래를 시사합니다.