Can Europe train a frontier AI model on the compute it owns?

개요

유럽이 현재 보유한 공개 컴퓨팅 자원을 연합하여 자체적인 최첨단 AI 모델을 훈련시킬 수 있는지에 대한 분석 결과, 이는 임시방편으로 가능하며 2028년경 최첨단 모델을 구현할 수 있다고 제시합니다.

주요 내용

* 현재 유럽의 컴퓨팅 자원: 유럽은 이미 EuroHPC 슈퍼컴퓨터와 국가 AI 팩토리를 통해 수십 엑사플롭스(exaflops)의 공개 AI 컴퓨팅 파워를 보유하고 있습니다.
* 신규 데이터센터의 전력 연결 지연: 1 기가와트(GW) 규모의 데이터센터 구축 계획이 있지만, 전력망 연결까지 평균 7.6년이 소요되는 것으로 추정됩니다.
* 저통신 분산 학습 (DiLoCo): 기존 컴퓨팅 자원을 저통신 분산 학습 방식으로 연합하면, 신규 기가와트급 데이터센터 구축 계획(2033년경 예상)보다 앞선 2028년경 최첨단 AI 모델을 개발할 수 있습니다.
* 모델의 구성: 분석 모델은 3단계로 구성됩니다. 1단계는 저통신 학습의 FLOP당 효율성, 2단계는 컴퓨팅 자원 가용 시간과 누적 컴퓨팅 파워 증가 속도, 3단계는 지역별 시간, 비용, 탄소 배출, 실현 가능성에 대한 평가입니다.
* 결론 도출의 핵심: 모델의 주요 결과는 2단계의 '가용 시간'에 의해 결정되며, 연합된 기존 컴퓨팅 자원이 기가와트급 신규 캠퍼스보다 먼저 온라인화되면 연합 방식이 유리하다는 결론을 내립니다.
* 모델의 재현성 및 출처: 분석에 사용된 모든 데이터와 소스 코드는 공개되어 있으며, 재현 가능하도록 설계되었습니다.

시사점

유럽은 자체 보유한 기존 컴퓨팅 인프라를 효율적으로 연합하고 최신 분산 학습 기술을 적용함으로써, 대규모 신규 인프라 투자 및 구축에 드는 장기간의 시간을 절약하고 비교적 조기에 최첨단 AI 모델 개발 역량을 확보할 수 있습니다.