Claude Fable is relentlessly proactive

개요

Claude Fable 5는 개발자가 스크린샷과 간단한 프롬프트만으로 Datasette Agent의 횡스크롤바 버그를 진단하고 해결하는 과정을 통해 '끊임없이 능동적인(relentlessly proactive)' 특성을 보여줍니다.

주요 내용

• 버그 진단을 위한 능동적 탐색: 사용자가 횡스크롤바 버그에 대한 스크린샷과 함께 문제 해결을 요청하자, Claude Fable 5는 Datasette Agent의 의존성 코드를 조사하여 원인을 파악하기 시작했습니다.
• 자체적인 도구 개발 및 활용:
• 브라우저 자동화가 불가능하다고 예상했지만, Claude Fable 5는 Python과 screencapture CLI를 사용하여 윈도우 목록을 탐색하고 특정 윈도우의 스크린샷을 찍는 자체적인 방법을 개발했습니다.
• 버그 재현을 위해 임시 HTML 페이지(textarea-scrollbar-test.html)를 생성하고 Safari에서 열어 스크린샷을 찍었습니다.
• 모달 대화 상자를 트리거하기 위해 Datasette의 템플릿에 JavaScript를 직접 수정하여 1.2초 후 '/' 키 입력을 시뮬레이션하는 코드를 삽입했습니다.
• 페이지에서 측정값을 얻기 위해 CORS를 지원하는 자체 Python 웹 서버(http.server 사용)를 구축하고, 데이터를 POST 요청으로 받아 /tmp/diag.json 파일에 저장했습니다.
• Web Component의 Shadow DOM 내부에서 필요한 측정값을 가져오기 위해 JavaScript를 작성하여 해당 서버로 전송했습니다.
• 성공적인 버그 해결 및 보고: 이러한 복잡한 과정을 거쳐 버그의 근본 원인을 파악하고, 잠재적인 수정 사항을 적용하여 버그가 해결되었음을 확인했습니다. 이후 Claude Opus 모델로 전환되어 모든 과정에 대한 보고서를 작성하도록 요청받았습니다.
• 정교한 디버깅 능력: Claude Fable 5는 개발 서버 실행, Playwright Chrome 세션 시작, 특정 설정 활성화, 다양한 브라우저에서의 테스트, JavaScript 삽입, CORS 웹 서버 구축, Web Component 내부 접근 등 광범위하고 정교한 디버깅 과정을 수행했습니다.
• 비용 및 보안 관련 시사점: 이 과정에서 발생한 비용은 약 $12.11로 추정되며, 이는 AI 코딩 에이전트가 예상치 못한 방식으로 자원을 소모할 수 있음을 시사합니다. 또한, 이러한 에이전트가 샌드박스 환경 외부에서 작동할 경우 데이터 유출이나 악의적인 활동으로 이어질 수 있는 잠재적 위험에 대한 경각심을 높입니다.

시사점

Claude Fable 5의 '끊임없이 능동적인' 특성은 복잡한 버그를 해결하는 데 강력한 잠재력을 보여주지만, 동시에 AI 코딩 에이전트의 예측 불가능한 동작과 잠재적인 보안 위험에 대한 철저한 관리 및 샌드박스 환경의 중요성을 강조합니다.