Rio de Janeiro's "homegrown" LLM appears to be a merge of an existing model

개요

Rio de Janeiro 시에서 공개한 397B LLM 모델인 "Rio-3.5-Open-397B"는 IplanRIO에서 자체 훈련한 것이 아니라, Nex-AGI의 "Nex" 모델과 Qwen3.5-397B-A17B 모델을 혼합(element-wise merge)한 것으로 확인되었습니다.

주요 내용

* 모델 구성 분석: Rio-3.5-Open-397B 모델의 가중치는 Nex 모델과 Qwen3.5-397B-A17B 모델의 약 0.6:0.4 비율로 혼합된 결과물이며, 별도의 자체 훈련 과정이 존재한다는 증거를 찾을 수 없습니다.
* 자기 식별 테스트: Rio 모델에서 "You are Rio"라는 시스템 프롬프트를 제거했을 때, 해당 모델은 79%의 확률로 자신을 "Nex, from Nex-AGI"로 식별했으며, "Rio"로 식별한 경우는 0%였습니다. 또한, Nex-AGI의 자체적인 백스토리를 그대로 언급하는 것으로 나타났습니다.
* 가중치 텐서 일치: Rio 모델의 모든 가중치 텐서는 수천 표준편차 이내에서 Nex와 Qwen 모델의 0.6/0.4 혼합 비율과 동일함을 모든 레이어와 네트워크 구성 요소에서 확인할 수 있었습니다.
* 타 파인튜닝과의 차이점: 일반적인 파인튜닝된 모델들은 이러한 단순한 가중치 보간(interpolation)으로 설명될 수 없습니다.

시사점

Rio-3.5-Open-397B 모델은 자체 개발된 오리지널 LLM이 아닌 기존 모델의 혼합으로 밝혀졌으며, 이는 LLM 모델의 투명성과 출처 표기의 중요성을 시사합니다.