Gemma 4 Under the Hood: Multimodality, PLE, and the 128K Context Revolution

개요

Google Gemma 4는 소비자 하드웨어에서 고수준 추론이 가능한 멀티모달 AI를 효율적으로 구동하기 위한 아키텍처 개선에 초점을 맞춘 모델로, 기존 모델의 단순한 규모 확장을 넘어선 혁신을 제시합니다.

주요 내용

• 아키텍처 분할: Dense vs. MoE
• 31B Dense Model: 모든 파라미터가 고품질의 세계 지식을 유지하도록 훈련된 표준 Dense 아키텍처로, 복잡한 창의적 글쓰기나 정교한 코딩 작업에 적합합니다.
• 26B A4B (Mixture-of-Experts): 총 260억 개의 파라미터를 가지지만 토큰당 약 38억 개의 파라미터만 활성화하여, 훨씬 큰 모델의 추론 능력과 작은 40억 개 모델의 추론 속도를 동시에 제공합니다. 이는 전력 소비와 지연 시간이 중요한 로컬 환경에서 유리합니다.
• Per-Layer Embeddings (PLE) 및 성능 향상:
• 특히 20억 개 및 40억 개 모델에서 Transformer 블록 깊숙이 임베딩 정보를 주입하는 PLE를 실험했습니다.
• 이를 통해 작은 모델에서도 높은 "의미론적 밀도"를 유지하여, Gemma 4 4B 모델이 이전 70억 개 또는 100억 개 모델보다 추론 벤치마크에서 뛰어난 성능을 보이는 이유를 설명합니다.
• 128K 컨텍스트 창: 하이브리드 어텐션 처리:
• 128,000 토큰(약 300페이지 분량)의 컨텍스트를 로컬에서 처리하기 위해 VRAM 사용을 절감하는 슬라이딩 윈도우 어텐션과 전체 기록을 살펴보는 글로벌 어텐션을 교차하여 사용하는 하이브리드 교대 어텐션 메커니즘을 적용했습니다.
• 이러한 "체커보드" 방식은 대규모 코드베이스나 긴 PDF를 GPU의 Out-Of-Memory (OOM) 오류 없이 모델에 입력할 수 있도록 합니다.
• 네이티브 멀티모달리티:
• 이전 세대 모델과 달리 별도의 비전 인코더와 프로젝션 레이어를 사용하는 방식이 아닌, 텍스트, 이미지, (작은 모델에서는) 오디오를 동시에 학습하여 네이티브 멀티모달리티를 구현했습니다.
• 단순히 이미지를 설명하는 것을 넘어, 언어 추론과 동일한 잠재 공간에서 이미지의 공간적 관계와 시각적 논리를 이해하며, 이를 통해 버그 스크린샷을 보고 코드를 수정하는 등의 작업이 가능합니다.

시사점

Gemma 4는 단순한 규모 확장을 넘어 하드웨어 효율성을 극대화하여 소비자 수준의 장치에서 고성능 멀티모달 AI를 구동할 수 있게 함으로써, 오픈 모델 생태계에 중요한 진전을 가져왔습니다.