These Russian Mathematicians Taught AI Models How to Talk to Each Other Without Using Words

개요

러시아 수학자들의 스타트업 Mostik은 AI 모델들이 단어 없이 서로 소통할 수 있는 새로운 방법을 개발했으며, 이는 기계 텔레파시와 유사한 방식으로 작동합니다.

주요 내용

* 기계 텔레파시를 통한 AI 모델 간 소통: Mostik은 AI 모델들이 텍스트 출력을 생성하지 않고도 서로 정보를 주고받을 수 있는 기술을 개발했습니다. 이 기술은 모델의 가중치(weights) 내에 존재하는 수학적 값들을 활용하여 모델 간의 상호작용을 가능하게 합니다.
* 대형 모델의 지능을 소형 모델로 이전: 이 접근 방식은 대형 AI 모델의 역량을 더 작은 모델로 효율적으로 전달하여 소형 모델의 지능을 향상시킬 수 있습니다.
* ARC-AGI 3 대회에서의 성과: Mostik은 이 기술을 활용하여 notoriously 어려운 AI 모델 경쟁 대회인 ARC-AGI 3에서 최상위권으로 올라섰습니다.
* GLM-5.2와 Qwen-3.5 모델의 하이브리드 시스템 구축: 7530억 개의 파라미터를 가진 GLM-5.2의 가장 큰 버전과 모바일 장치에서 실행 가능한 40억 개의 파라미터를 가진 Qwen-3.5의 40억 개 파라미터 버전을 연결하여 하이브리드 시스템을 구축했습니다. 이 시스템은 전체 GLM 모델 비용의 1/20에 불과하지만, 두 모델 성능의 중간 수준을 보여줍니다.
* 앙상블 모델의 이점: 여러 모델을 결합하는 것은 개별 모델보다 더 나은 성능을 내는 것으로 알려져 있으며, 이는 돼지 무게 추정 앙상블의 정확성과 유사합니다.
* 기존 방식의 비효율성 극복: 일반적으로 여러 AI 모델의 출력을 결합하는 것은 상당한 시간과 비용이 소요되지만, Mostik의 기술은 텍스트 출력 없이 직접적인 소통을 가능하게 하여 이러한 비효율성을 극복합니다.
* 오픈 웨이트 모델의 가치 증대 가능성: 이 기술이 성공하면 오픈 웨이트 모델의 가치가 상승하여 Anthropic, OpenAI와 같은 선두 연구소의 독점 모델과 더 잘 경쟁할 수 있게 될 것입니다.
* AI 발전 패러다임 변화 가능성: 일각에서는 단일 거대 모델이 아닌, 여러 전문화된 모델의 조합이 AI 발전의 미래가 될 수 있다고 예측하며, 이는 생물학, 물리학 등 다양한 도메인 특화 모델의 훈련을 촉진할 수 있습니다.
* 효율적인 모델 운영 방식 제공: 이 기술은 대규모 모델이 전체 프로세스를 처리할 필요 없이, 작은 모델과 함께 실행하는 것만으로도 대형 모델에 가까운 성능을 달성하게 해주므로, 모델을 최대한 효율적으로 운영해야 하는 경우에 상당한 이점을 제공합니다.
* 모델 간 공통 언어의 필요성: AI 모델 간의 공통점을 찾는 것은 여전히 어려운 과제로, 현재로서는 Mostik의 접근 방식이 이러한 간극을 메우는 다리 역할을 합니다.

시사점

Mostik의 기술은 AI 모델들이 텍스트 출력을 거치지 않고 직접적으로 소통할 수 있게 함으로써, AI 모델의 성능을 효율적으로 향상시키고 오픈 웨이트 모델의 경쟁력을 높이며, 궁극적으로는 AI 발전의 새로운 방향을 제시할 잠재력을 가지고 있습니다.