Evaluating Kimi 2.5 vs Kimi 2.6: What happens to agent skills when the model gets smarter?

개요

Kimi 2.6은 Kimi 2.5에 비해 향상된 성능을 보이며, Claude Sonnet 4.5와 비교해도 경쟁력 있는 수준을 유지합니다. 모델의 성능 향상에도 불구하고 에이전트 스킬의 중요성은 여전히 유지되며, 특정 스킬은 중복될 수 있습니다.

주요 내용

• Kimi 2.6의 향상된 기본 성능: Kimi 2.6은 Kimi 2.5보다 약 2%p 높은 기본 성능을 보였습니다. 21개의 스킬 세트 중 4개의 스킬은 Kimi 2.6에서 95% 이상의 기본 성능을 달성하여 더 이상 스킬이 필요하지 않게 되었습니다. 또한, Kimi 2.5에서 성능 저하를 일으켰던 두 가지 스킬 관련 문제가 Kimi 2.6에서는 해결되었습니다.
• Kimi 2.6과 Claude Sonnet 4.5의 비교: Kimi 2.6은 평가된 스킬 범주에서 Claude Sonnet 4.5와 경쟁력 있는 성능을 보였습니다. Kimi 2.6의 스킬 적용 시 성능 향상은 약 17.20%p였으며, Sonnet 4.5의 경우 약 21.3%p였습니다. 이는 Kimi 2.6이 Sonnet 4.5와 유사한 수준임을 시사합니다.
• 모델 개선에도 지속되는 스킬의 중요성: 모델 성능이 향상되어도 스킬이 제공하는 성능 향상 폭(uplift)은 크게 변하지 않습니다. Kimi 2.5에서 스킬 적용 시 약 17.05%p의 향상이 있었던 반면, Kimi 2.6에서도 약 17.20%p의 향상이 유지되었습니다. 이는 모델의 기본 성능이 향상되더라도 특정 작업에 대한 스킬의 유효성이 지속됨을 의미합니다.
• 스킬 저자에게 주는 시사점: 모델 변경 시 스킬의 효과를 재평가해야 합니다. 일부 스킬은 중복될 수 있지만, 다른 스킬은 여전히 중요한 역할을 합니다. 스킬의 효과는 평가를 통해서만 정확히 파악할 수 있습니다.

시사점

모델의 성능이 향상되더라도 에이전트 스킬은 여전히 유효한 성능 개선 도구이며, 모델 업데이트 시 스킬의 효과를 재평가하는 것이 필수적입니다.