Same DeepSeek V4 Flash, Different Agent: Why the Runtime Changes the Result

개요

DeepSeek V4 Flash 모델과 다양한 런타임 환경의 조합이 장기 작업 결과에 미치는 영향은 중대하며, 이는 모델 자체의 능력뿐만 아니라 프로토콜, 도구, 컨텍스트, 복구, 수용 등 여러 계층의 상호작용에 의해 결정된다.

주요 내용

* 모델 ID의 한계: 모델 ID만으로는 에이전트의 성능을 평가하기 어렵고, 실제 유용한 단위는 모델, 프로토콜, 도구, 컨텍스트, 복구, 수용이 결합된 완전한 런타임이다.
* 런타임의 구성 요소:
* 프로토콜: 목표, 도구 결과, 중간 상태, 지속 상태를 정의하는 인터페이스로, 호환성이 있어도 장기적인 작업 수행 능력을 상실할 수 있다.
* 도구: 단순히 버튼이 아니라 스키마, 매개변수, 반환 형식, 실패 신호 등을 정의하는 계약이며, 동일한 레이블("읽기" 또는 "쓰기")도 런타임에 따라 다르게 동작할 수 있다.
* 컨텍스트 및 복구: 장기 작업의 지속성을 보장하기 위해 제약 조건을 유지하고, 실패 증거를 보존하며, 드리프트를 감지하고, 안정적인 지점으로 돌아가 재계획하는 능력을 의미한다.
* 수용: 에이전트가 작업을 완료했다고 판단하는 기준이며, 파일 상태, 테스트, 미리보기, 권한, 외부 사실 등이 원래 목표와 일치해야 한다.
* DeepSeek V4 Flash의 맥락: DeepSeek V4 Flash는 Codex용으로 조정되었으며, Responses API 지원을 문서화하고 있다. 이는 특정 런타임에 최적화된 결과일 뿐 보편적인 우월성을 입증하는 것은 아니다.
* 에이전트 성능 측정 가설: 효과적인 에이전트는 모델 잠재력과 허들 실현율의 곱으로 표현될 수 있으며, 실현율은 프로토콜 일치, 도구 계약 신뢰성, 컨텍스트/복구 품질, 수용 증거로 분해될 수 있다.
* 신뢰할 수 있는 비교 방법: 백엔드 모델 ID, 작업, 코드 상태, 클라이언트 버전, 노력, 권한, 수용 기준을 고정하고 작업을 반복하여 도구 오류, 재작업, 인간 개입, 롤백을 기록해야 하며, 이러한 조건이 고정될 수 없다면 결과는 모델 순위표가 아닌 런타임 관찰로 간주해야 한다.

시사점

모델 자체의 성능보다 에이전트를 둘러싼 프로토콜, 도구, 컨텍스트, 복구, 수용 등 런타임 환경이 장기 작업의 성공을 좌우하는 핵심 요소이므로, 에이전트의 성능을 평가하고 비교할 때는 런타임 환경 전체를 고려해야 한다.