Kimi K3: Moonshot AI's 2.8-Trillion-Parameter Open Frontier Model — Benchmarks, Architecture, and Everything We Know

개요

Moonshot AI가 2.8조 개의 파라미터를 가진 최초의 개방형 3T급 AI 시스템인 Kimi K3를 출시했으며, 이는 100만 토큰 컨텍스트 창, 네이티브 비전 기능, 그리고 Kimi Delta Attention(KDA) 및 Attention Residuals(AttnRes) 기반의 새로운 아키텍처를 특징으로 합니다.

주요 내용

• Kimi K3의 특징: 2.8조 파라미터, 100만 토큰 컨텍스트 창, 텍스트 및 이미지, 비디오 입력 지원, 텍스트 출력. Kimi Delta Attention(KDA)은 선형 어텐션과 전체 어텐션을 3:1 비율로 혼합하여 KV 캐시 메모리를 75% 절감하고 디코딩 속도를 6배 빠르게 합니다. Attention Residuals(AttnRes)는 모델 깊이 전반에 걸쳐 표현을 선택적으로 검색하여 훈련 효율성을 25% 향상시킵니다. Stable LatentMoE는 896개 전문가 중 16개를 토큰당 활성화하며, Quantile Balancing, Per-Head Muon, Sigmoid Tanh Unit (SiTU), Gated MLA와 같은 기법을 활용하여 스케일링 효율성을 2.5배 개선했습니다.
• 성능 벤치마크: 코딩 벤치마크에서 Program Bench (77.8), SWE Marathon (42.0)에서 선두를 차지했으며, Terminal-Bench 2.1 (88.3)에서 GPT-5.6 Sol (88.8)에 근접했습니다. 에이전트 및 생산성 벤치마크에서는 BrowseComp (91.2), Automation Bench (30.8), SpreadsheetBench 2 (34.8)에서 선두를, 멀티모달 및 지식 벤치마크에서는 MathVision (97.8), OmniDocBench (91.1)에서 선두를 기록했습니다.
• 독립 평가 및 비용: Artificial Analysis v4.1에서 #4 (구성별) 및 #3 (모델 패밀리별)에 랭크되었으며, GPT-5.6 Sol 및 Claude Fable 5와 비슷한 성능을 보입니다. 평가에 더 많은 출력 토큰을 사용했음에도 불구하고, 낮은 토큰 가격으로 인해 총 비용은 GPT-5.6 Sol과 유사하고 Claude Fable 5보다 훨씬 저렴했습니다. API 가격은 GPT-5.6 Sol보다 입력 40%, 출력 50% 저렴하며, Claude Fable 5 대비 70% 저렴합니다.
• 실제 적용 사례: 48시간 내 칩 설계, MiniTriton GPU 컴파일러 개발, 3D 오픈 월드 게임 개발, 천체물리학 연구 재현 등 다양한 분야에서 실제적인 성과를 입증했습니다. 또한, Kimi Work를 통해 인터랙티브 리서치 보고서, 맞춤형 차트, 애니메이션 다이어그램 등을 생성하고, 자체 아키텍처에 대한 3Blue1Brown 스타일의 모션 그래픽 설명 영상 및 티저 영상을 제작했습니다.
• 사용 가능성 및 제한점: 현재 kimi.com, Kimi API, Kimi Code, Kimi Work를 통해 접근 가능하며, 전체 모델 가중치는 2026년 7월 27일에 공개될 예정입니다. OpenAI SDK와 호환되며, 스트리밍, JSON 출력, 툴 호출, 비전 입력 등을 지원합니다. 주요 제한점으로는 사고 이력에 대한 민감성, 과도한 능동성, 그리고 사용자 경험의 미묘한 격차 등이 있습니다.

시사점

Kimi K3는 2.8조 파라미터의 개방형 가중치 모델로서, 성능 격차를 상당 부분 좁히며 클로즈드 소스 모델과 경쟁할 수 있는 현실적인 대안을 제시합니다. 7월 27일 가중치 공개 시, K3는 개방형 모델의 성능 상한선을 재정의하고 기업에게 독점 모델에 대한 신뢰할 수 있는 다운로드 가능한 대안을 제공할 것입니다.