Experts say exploiting Anthropic’s Fable isn’t how Kimi K3 got so good

개요

중국 기업 Moonshot이 개발한 대규모 오픈 웨이트 LLM인 Kimi K3가 Anthropic의 Fable LLM을 모방하고 중국 수출이 금지된 칩을 사용했다는 미국 정부의 주장이 제기되었으나, 전문가들은 단순히 증류(distillation)만으로는 Kimi K3의 빠른 발전과 성능 향상을 설명하기 어렵다고 보고 있다.

주요 내용

* 미국 정부의 주장: 백악관 과학 자문관 Michael Kratsios는 중국 기업 Moonshot이 Kimi K3 LLM을 개발하는 과정에서 Anthropic의 Fable LLM을 복제했으며, 중국 수출이 금지된 칩을 사용했다고 주장했다. 또한, 이는 미국 기술 탈취 및 연구 방해를 위한 은밀한 산업적 증류 행위라고 비난했다.
* 전문가들의 회의론: AI 전문가들은 Kimi K3가 보여주는 뛰어난 성능과 빠른 개발 속도가 단순히 Fable LLM을 증류하는 것만으로는 설명될 수 없다고 지적한다. Fable이 공개된 지 얼마 되지 않은 시점에 이를 증류하고 새로운 모델을 개발 및 출시하는 것은 시간적으로 비현실적이라는 의견이다.
* 증류(Distillation)의 한계: 증류는 대상 LLM을 쿼리하여 데이터를 생성하고 이를 기반으로 새로운 모델을 훈련하는 과정이다. 최근 AI 모델이 정교해짐에 따라 증류의 영향력은 감소하고 있으며, 강화학습(reinforcement learning)과 같은 더 발전된 기법이 필요하다는 분석이 있다. 이러한 고급 기법은 막대한 인프라와 비용을 요구한다.
* 과거 유사 사례: Anthropic은 올해 초 Moonshot, DeepSeek, MiniMax 등을 대상으로 자사 모델을 체계적으로 증류했다는 의혹을 제기한 바 있다. 이는 일반적인 사용 패턴과 다른 IP 주소 및 메타데이터를 통해 식별된 기업들의 비정상적인 쿼리 패턴을 통해 파악되었다.
* 칩 수출 규제 및 불법 시장: Kimi K3 개발에 사용된 것으로 추정되는 수출 금지 칩(Nvidia Grace Blackwell 300s)은 블랙 마켓을 통해 거래될 수 있으며, 실제로 칩을 중국으로 불법 반입한 서버 구축 업체 창업자가 기소된 사례도 있다. 데이터센터에서의 대규모 훈련 실행에 대한 보고 메커니즘이 필요하다는 의견이 제기된다.
* 중국 기술 역량: 일부 전문가들은 중국 팀의 기술적 전문성을 과소평가해서는 안 된다고 주장한다. Moonshot의 창립자 중에는 카네기멜론대학교(CMU) 박사 과정 학생도 있었으며, 이들은 자체적인 연구와 엔지니어링 역량을 갖추고 있다는 것이다.

시사점

미국 정부의 기술 탈취 주장은 LLM 개발 경쟁의 심화와 더불어 국제적인 기술 규제 및 안보 문제에 대한 경각심을 높이고 있으며, AI 기술 발전 과정에서 증류와 같은 기법의 실효성과 함께 첨단 칩의 불법 거래 및 데이터센터 규제 필요성을 제기한다.