Google DeepMind releases DiffusionGemma, a model that runs local AI 4x faster

개요

Google DeepMind가 공개한 DiffusionGemma는 로컬 AI 모델의 추론 속도를 최대 4배까지 향상시키는 새로운 접근 방식을 제시합니다.

주요 내용

* DiffusionGemma의 등장 배경: Google은 클라우드 기반의 Gemini 모델에서 텍스트 확산(text diffusion) 방식의 높은 오류율과 불필요한 자원 낭비 문제를 경험했습니다. 이미지 확산 모델과 달리 텍스트는 이산적(discrete)이어서 작은 오류가 전체 출력을 무의미하게 만들 수 있으며, 짧은 출력에도 많은 연산이 필요합니다.
* 로컬 AI 환경에서의 효율성: 클라우드 환경은 대규모 병렬 처리를 통해 GPU 자원을 효율적으로 활용하지만, 로컬 AI는 낮은 메모리 대역폭과 유휴 시간으로 인해 컴퓨팅 자원이 낭비되는 경우가 많습니다. DiffusionGemma는 이러한 로컬 환경에서 확산 모델을 사용하여 사용 가능한 컴퓨팅 자원을 더 효율적으로 활용합니다.
* 성능 및 라이선스: DiffusionGemma는 다른 Gemma 모델과 유사한 수준의 성능을 유지하면서도 훨씬 빠른 속도를 제공합니다. 이 모델은 Apache 2.0 라이선스 하에 공개되었으며, Hugging Face에서 모델 가중치를 다운로드할 수 있습니다.
* Nvidia와의 협력: Google은 Nvidia와 협력하여 DiffusionGemma가 다양한 환경, 특히 고성능 RTX GPU(양자화 버전 포함) 및 H100, DGX Spark와 같은 엔터프라이즈 시스템에서 최적화되도록 했습니다.
* 대안 기술: Google은 Multi-Token Prediction(MTP)과 같은 다른 기술도 실험하고 있지만, DiffusionGemma는 MTP 기반 Gemma 모델보다도 더 빠른 속도를 보여줍니다.

시사점

DiffusionGemma는 로컬 환경에서 AI 모델의 실행 속도를 획기적으로 개선할 수 있는 잠재력을 보여주며, 향후 더 빠르고 접근성 높은 온디바이스(on-device) AI 애플리케이션 개발에 기여할 것으로 기대됩니다.