Mustafa Suleyman: AI development won’t hit a wall anytime soon—here’s why

개요

AI 개발은 컴퓨팅 성능의 기하급수적인 증가로 인해 예상보다 훨씬 오랫동안 지속될 것이며, 이는 향후 몇 년간 AI 분야의 급격한 발전을 견인할 것입니다.

주요 내용

* 컴퓨팅 성능의 폭발적 증가: 2010년 이후 AI 모델 학습에 사용되는 연산량(FLOPs)이 1조 배 증가했으며, 이는 AI 발전의 근간을 이룹니다.
* 견고한 기술 발전의 융합:
* 하드웨어 성능 향상: Nvidia 칩은 6년 만에 7배 이상의 성능 향상을 이루었고, Microsoft Maia 200 칩은 더 나은 성능당 비용을 제공합니다.
* 데이터 전송 속도 개선: HBM(High Bandwidth Memory) 기술은 이전 세대 대비 3배의 대역폭을 제공하여 프로세서가 지속적으로 바쁘게 작동하도록 합니다.
* 분산 컴퓨팅의 확장: NVLink 및 InfiniBand와 같은 기술은 수십만 개의 GPU를 연결하여 창고 규모의 슈퍼컴퓨터를 단일 인지 시스템처럼 작동하게 합니다.
* 학습 시간 단축 및 비용 절감: 2020년에 8개의 GPU로 167분 걸리던 언어 모델 학습이 현재는 4분 미만으로 단축되었으며, 이는 무어의 법칙이 예측하는 5배 개선을 훨씬 뛰어넘는 50배의 개선입니다. 최신 모델 서비스 비용은 연간 최대 900배까지 감소했습니다.
* 미래 컴퓨팅 용량 예측: 선도적인 AI 연구소들은 연간 4배에 가까운 용량 증가를 보이고 있으며, 2027년까지 전 세계 AI 관련 컴퓨팅은 10배 증가하여 1억 H100-equivalents에 도달할 것으로 예상됩니다. 2028년 말까지는 약 1,000배의 실질 컴퓨팅 성능 향상이 가능하며, 2030년에는 영국, 프랑스, 독일, 이탈리아의 최대 에너지 사용량을 합한 것과 유사한 200 기가와트의 추가 컴퓨팅 용량이 온라인 상태가 될 수 있습니다.
* AI 발전의 결과: 이러한 컴퓨팅 능력 증가는 챗봇에서 거의 인간 수준의 에이전트로의 전환을 촉진할 것이며, 이는 코드 작성, 장기 프로젝트 수행, 계약 협상 등 광범위한 작업을 자율적으로 처리할 수 있는 시스템을 가능하게 합니다.
* 에너지 제약 및 해결 가능성: AI의 높은 에너지 소비(AI 랙 하나가 100가구의 에너지 소비량과 동일)는 제약이지만, 태양광 발전 비용의 급격한 하락과 배터리 가격 하락은 깨끗한 확장을 위한 경로를 제시하고 있습니다.
* 현실화되는 미래: 1000억 달러 규모의 클러스터, 10기가와트 규모의 전력 소모, 창고 규모의 슈퍼컴퓨터는 더 이상 공상 과학이 아니며, 이러한 프로젝트들이 현재 전 세계적으로 진행되고 있습니다.

시사점

AI 개발의 지속적인 기하급수적 성장은 전통적인 선형적 사고방식을 가진 회의론자들을 계속 놀라게 할 것이며, 모든 인지 기반 업무 산업을 변혁할 진정한 인지적 풍요의 시대를 예고합니다.