Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out

개요

Armature 팀은 Claude, Codex, Cursor 세 가지 코딩 에이전트를 대상으로 17,000개 이상의 세션을 실행하여 개발자가 특정 요구사항에 맞는 도구를 선택할 때 어떤 도구를 선택하는지 분석했습니다.

주요 내용

* 에이전트별 도구 선택 방식의 차이:
* Cursor는 약 2/3의 세션에서 웹 검색을 기반으로 결정을 내립니다.
* Codex는 94%의 세션에서 웹 검색을 사용하며, 종종 site:와 같은 연산자를 사용하여 신뢰할 수 있는 도메인이나 특정 솔루션에 집중합니다.
* Claude Code는 주로 자체 사전 학습 데이터를 활용하며, 웹 검색은 약 30%의 경우에만 사용하지만, 검색 시 Codex보다 3배 더 많은 페이지를 탐색합니다.
* 도구 선택의 불일치: 세 에이전트가 동일한 도구를 선택하는 경우는 42%에 불과하며, 음성 에이전트 카테고리에서는 Claude Code가 Twilio, Codex가 OpenAI Realtime API, Cursor가 Vapi를 선택하는 등 차이를 보였습니다.
* Claude Code의 자체 구축 경향: Claude Code는 Codex와 Cursor에 비해 거의 두 배 많은 비율(19% vs 10%)로 자체 솔루션을 구축하는 경향을 보입니다.
* 리포지토리 컨텍스트의 중요성: 동일한 질문이라도 4개의 다른 프로그래밍 언어로 된 4개의 리포지토리에서 다른 이메일 제공업체 승자를 도출했습니다. (예: Typescript에서는 Resend, Python에서는 Sendgrid, Go에서는 Postmark, Java에서는 Azure ACS).
* 언급과 선택의 차이: 많은 유명 도구들이 자주 언급되지만 실제 선택되지 않는 경우가 많습니다. 예를 들어, 결제 서비스 제공업체 부문에서 Paypal은 139회 언급되었지만 선택되지 않았으며, LangChain은 194회 언급되었지만 4회만 선택되었습니다.
* 추가 기능 및 정보가 선택에 미치는 영향: Mailgun은 무료 플랜의 "1일 보존" 정보로 인해 Postmark에 자주 패배했으며, Supabase는 과도한 BaaS 기능(인증, 스토리지, 실시간)이 번들로 제공되어 단순한 데이터베이스 검색 시 불리했습니다.
* 플랫폼 관리 오버헤드 및 비용의 영향: 세션의 약 7%에서 플랫폼 관리 오버헤드 또는 비용에 대한 언급이 있었으며, 이는 종종 실질적인 제외 요인보다는 정보 제시 방식에 더 큰 영향을 받았습니다.
* 시장별 지배력 차이: Stripe는 10건 중 9건을 승리했으며, Neon은 66%의 승률을 기록했습니다. 파일 스토리지에서는 Amazon S3가 45%로 지배적이었으며, 이메일 발송 서비스에서는 Resend와 Postmark가 각각 35.6%와 27.4%의 설치율을 기록했습니다.

시사점

본 연구는 코딩 에이전트가 도구를 선택하는 과정에서 에이전트의 특성, 리포지토리의 컨텍스트, 그리고 제공되는 정보의 제시 방식이 중요한 영향을 미친다는 것을 보여주며, 개발 도구 벤더들이 에이전트의 선택을 받기 위해 어떤 전략을 고려해야 하는지에 대한 중요한 통찰을 제공합니다.