The mysterious Hy3 LLM is topping OpenRouter Model Rankings by a large margin

개요

OpenRouter의 LLM 모델 순위에서 Tencent의 Hy3 Preview 모델이 Claude를 크게 앞서며 높은 사용량을 기록하고 있으나, 실제 모델 성능은 이에 미치지 못하는 것으로 나타나 그 배경에 대한 의문이 제기되고 있습니다.

주요 내용

* Hy3 Preview 모델의 비정상적인 인기: OpenRouter의 AI 모델 순위에서 Hy3 Preview가 Claude보다 50% 이상 높은 토큰 사용량을 보이며 최상위권을 차지하고 있으나, 직접 테스트 결과는 Claude Opus 4.7 및 GPT 5.5와 같은 최상위 모델에 비해 성능이 떨어집니다.
* DeepSeek Flash V4의 경쟁력: DeepSeek Flash V4는 저렴한 비용과 빠른 속도, 그리고 우수한 성능으로 인기를 얻고 있으며, OpenRouter에서도 다양한 제공업체를 통해 접근 가능합니다.
* Hy3 Preview의 초기 무료 제공: Hy3 Preview는 OpenRouter에서 무료로 제공되었던 기간이 있었으며, 이후 유료 전환되었음에도 사용량이 급감하지 않았습니다.
* LLM API의 실제 비용과 캐싱: LLM API 호출 시 입력 토큰이 대부분을 차지하며, 이러한 입력 토큰은 캐싱을 통해 비용이 절감됩니다. DeepSeek V4 Flash는 특히 낮은 캐싱 비용을 제공하여 실제 비용이 명시된 가격보다 훨씬 저렴합니다.
* DeepSeek V4 Flash의 효율적인 가격: DeepSeek V4 Flash는 DeepSeek 자체 제공업체를 통해 사용할 경우 1M 입력 토큰당 $0.018로 매우 저렴하며, 이는 Hy3 Preview의 실제 가격($0.034/1M)보다 두 배 이상 저렴합니다.
* 중국 기업 LLM에 대한 우려: DeepSeek와 같은 중국 기업의 LLM은 데이터 정책에 'prompt training = true' 옵션이 있어 민감한 정보를 다루는 데 대한 우려가 있을 수 있습니다.
* OpenRouter의 자동 라우팅 기능: OpenRouter는 다양한 LLM API 요청을 자동으로 최적의 제공업체로 라우팅하는 기능을 제공하며, 이를 통해 사용자는 모델 간 전환 및 비용 최적화를 할 수 있습니다.

시사점

Hy3 Preview 모델의 OpenRouter에서의 높은 사용량은 저렴한 가격과 초기 무료 제공, 그리고 특정 대규모 애플리케이션의 백본으로 사용될 가능성 등 복합적인 요인이 작용한 결과로 추정되며, DeepSeek V4 Flash와 같이 실제 비용 효율성이 높은 모델이 향후 경쟁에서 유리할 것으로 보입니다.