Comparing INT4 and NVFP4 Palettes on Real Gradient Tensors

개요

INT4와 NVFP4 팔레트의 4비트 양자화 성능을 실제 그래디언트 텐서에서 비교한 결과, 회전되지 않은 실제 그래디언트 텐서에서 INT4 팔레트가 41/45, 회전된 그래디언트 텐서에서 44/45의 비율로 더 나은 성능을 보였다.

주요 내용

• 4비트 양자화: 모든 숫자를 16개의 값으로 양자화하며, NVFP4는 0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6과 같이 0 근처에서 세밀하고 상단에서 거친 간격을 가진 스케일을 사용한다.
• Hadamard 회전: 표준 파이프라인은 양자화 전에 무작위 Hadamard 회전을 적용하여 블록 내 이상치 에너지를 분산시키고 분포를 종 모양에 가깝게 만든다.
• 실험 설계: 16개의 값으로 구성된 팔레트를 설계 변수로 간주하여 더 나은 팔레트를 탐색했으며, 일반적인 균일 간격 INT4가 가우시안 블록에서는 NVFP4를 능가했지만, 회전되지 않은 데이터에서는 2.3배의 차이로 패배했다.
• 실제 데이터 테스트: 45개의 실제 그래디언트 텐서를 사용하여 실험한 결과, 균일 간격 INT4는 회전되지 않은 경우 41/45, Hadamard 회전된 경우 44/45에서 승리했다.
• 코너별 측정:
• 언바이어스드 코너 (Unbiased Corner): 각 블록을 절대 최대값(absmax)으로 스케일링하고 확률적으로 반올림하며, 오차는 E[(y-l)(u-y)]로 계산된다. 가우시안 블록에서 균일 INT4는 NVFP4 대비 19.2% 낮은 오차를 보였다.
• 바이어스드 코너 (Biased Corner): 19가지 후보 스케일을 탐색하고 가장 좋은 것을 선택하며, 반올림하며, 최종적으로 블록당 재구성 스케일을 적용한다. 값은 상위 레벨에서 클리핑된다. 가우시안 블록에서 균일 INT4는 NVFP4 대비 9.3% 낮은 오차를 보였다.
• 실제 그래디언트 텐서 결과:
• 언바이어스드 코너: INT4는 회전되지 않은 경우 22.1%, Hadamard 회전 시 17.5%의 성능 우위를 보이며 45개 중 각각 41개, 44개에서 승리했다.
• 바이어스드 코너: INT4는 회전되지 않은 경우 12.8%, Hadamard 회전 시 7.8%의 성능 우위를 보이며 45개 중 각각 38개, 39개에서 승리했다.
• 정량화 오류 vs. 학습 손실: 측정된 수치는 양자화 오류이며, 학습 손실에 미치는 영향은 대규모 배치 사이즈에서 관찰될 때까지 불확실하다.
• 과도한 쿠르토시스 (Excess Kurtosis): 실제 그래디언트 텐서는 매우 높은 과도한 쿠르토시스(중앙값 +4.07, 최대 +255.07)를 가지지만, 블록별 스케일링으로 인해 양자화기는 블록 당 이상치를 흡수하므로 실제로는 가우시안보다 약간 낮은 쿠르토시스를 보인다.
• 스케일의 중요성: 블록당 스케일링의 정교함이 레벨 배치보다 더 중요하며, 충분히 세밀한 스케일링이 제공되면 레벨은 균일하게 배치될 수 있고, 그렇지 않으면 어떤 팔레트도 효과를 발휘하지 못한다.

시사점

실제 그래디언트 텐서에서 INT4 팔레트는 NVFP4 팔레트 대비 상당한 양자화 오류 감소를 보였으며, 이는 특히 블록당 스케일링의 중요성을 강조한다. 다만, 이러한 양자화 오류의 차이가 최종 학습 손실에 즉시 영향을 미치지는 않으며, 향후 양자화 형식 설계 시 스케일링 메커니즘에 대한 고려가 중요함을 시사한다.