I Gave DeepSeek a Token Limit. It Ignored Me.

개요

DeepSeek V4-Pro 모델의 API 테스트 결과, 설정된 토큰 제한을 무시하고 불필요한 추론 토큰을 과도하게 사용하여 비용 증가와 응답 지연을 초래하며, 알 수 없는 매개변수를 무시하는 문제점을 발견했다.

주요 내용

* 추론 기능 기본 활성화 및 토큰 제한 무시: DeepSeek V4-Pro 모델은 기본적으로 추론 모드가 활성화되어 있으며, max_completion_tokens와 같은 토큰 제한 매개변수를 설정해도 이를 무시하고 과도하게 많은 토큰을 생성하는 것으로 나타났다.
* 비용 증가 및 응답 지연: 추론 모드가 활성화되고 토큰 제한이 무시될 경우, 단일 API 호출당 생성되는 토큰 수가 급증하여 비용이 16.7배까지 증가했으며, 응답 시간도 수십 초에서 수백 초까지 늘어나 실시간 애플리케이션에 부적합했다.
* 알 수 없는 매개변수의 침묵적 무시: totally_bogus_param과 같은 존재하지 않는 매개변수를 전송해도 오류 대신 HTTP 200 응답을 반환하고 아무런 경고 없이 이를 무시해버렸다. 이는 사용자가 설정이 제대로 적용되었는지 파악하기 어렵게 만들었다.
* 추론 비활성화 방법: 추론을 비활성화하기 위해 reasoning_effort: "none" 또는 thinking: {type: "disabled"} 매개변수를 사용하는 것이 효과적이었으나, enable_thinking: false는 효과가 없었다.
* 생산 릴리스 품질 평가: 새로운 생산 릴리스 (0813)는 이전 버전에 비해 특정 지표에서 통계적으로 유의미한 성능 개선을 보이지 않았으며, 오히려 몇몇 경우에서는 성능이 저하된 듯한 신호가 관찰되었다.

시사점

DeepSeek API를 프로그래밍 방식으로 호출할 때, 추론이 필요하지 않다면 명시적으로 reasoning_effort: "none" 또는 thinking: {type: "disabled"}와 같은 설정을 사용해야 하며, 알 수 없는 매개변수에 대한 API의 침묵적인 무시 행태는 디버깅을 어렵게 하므로 개선이 필요하다.