CC-Canary: Detect early signs of regressions in Claude Code

개요

CC-Canary는 Claude Code 세션 로그를 분석하여 모델 회귀(regression)의 초기 징후를 탐지하고 공유 가능한 보고서를 생성하는 두 가지 설치 가능한 Agent Skill입니다.

주요 내용

* 기능: CC-Canary는 Claude Code가 .claude/projects/ 경로에 저장하는 JSONL 세션 로그를 읽어 모델이 사용자의 작업에서 드리프트(drift)하는지 여부를 감지합니다.
* 독립적인 작동: 네트워크 연결, 계정, 텔레메트리, 백그라운드 데몬 없이 로컬 디스크의 데이터만 사용하여 작동합니다.
* 보고서 형식:
* cc-canary: GitHub 이슈나 Gist에 붙여넣기 쉬운 마크다운 형식의 보고서를 생성합니다.
* cc-canary-html: 동일한 보고서를 다크 테마의 HTML 대시보드 형태로 생성하며 자동으로 브라우저에서 엽니다.
* 보고서 내용: 각 보고서는 판정(HOLDING, SUSPECTED REGRESSION, CONFIRMED REGRESSION, INCONCLUSIVE), 핵심 지표 테이블(이전 vs 이후, 🟢/🟡/🔴 verdicts 포함), 주간 추세 막대(비용, 읽기:편집 비율, 추론 루프, 토큰/턴), 크로스 버전 비교, 자동 감지된 전환 날짜, 모델/사용자 측/모호한 분류의 결과, 부록(시간별 사고 깊이, 단어 빈도 변화 등)을 포함합니다.
* 설치: npx skills add delta-hq/cc-canary 명령어로 설치할 수 있으며, 특정 스킬만 선택적으로 설치하는 것도 가능합니다.
* 작동 방식: Python 스크립트가 .jsonl 파일을 스캔하고, 중복을 제거한 후, 세션별 지표를 집계하고, 건강 점수를 통해 전환점을 감지합니다. 이후 마크다운/HTML 골격에 지표를 채우고, Claude가 나머지 서술형 부분을 채워 최종 보고서를 생성합니다.
* 추적 지표: 읽기:편집 비율, 쓰기 비중, 추론 루프, 좌절감 비율, 생각 차단율, 평균 생각 길이, API 턴/사용자 턴 비율, 사용자 턴당 토큰 수 등이 포함되며, 조기 중단, 자체 오류 인정, 지름길 어휘, 사용자 인터럽트 등 추가적인 지표도 추적합니다.
* 개인 정보 보호: 모든 처리가 로컬에서 이루어지며, 사용자의 프롬프트 내용은 처리 전에 최대 180자로 잘리고 특정 개인 정보는 마스킹됩니다. 생성된 보고서 파일은 스킬을 호출한 디렉토리에 저장됩니다.
* 기여: GitHub(github.com/delta-hq/cc-canary/issues)를 통해 이슈 제기, 지표 제안, PR 제출이 가능합니다.

시사점

CC-Canary는 Claude Code 모델의 성능 저하를 조기에 감지하여 개발자가 모델 드리프트를 파악하고 대응할 수 있도록 지원하는 도구로서, 모델의 안정성과 신뢰성을 유지하는 데 기여할 수 있습니다.