Learning the Integral of a Diffusion Model

개요

Flow map은 diffusion model의 샘플링 속도를 향상시키기 위해 경로 적분을 직접 예측하도록 신경망을 훈련하는 새로운 접근 방식입니다.

주요 내용

* Diffusion Model 샘플링: diffusion model의 샘플링은 노이즈 수준을 따라 이동하며, 각 단계에서 denoiser가 입력 공간을 통한 경로의 접선 방향을 추정합니다. stochastic(무작위) 샘플링과 deterministic(결정론적) 샘플링 방식이 존재합니다.
* Flow Map의 개념: flow map은 diffusion model과 달리 경로상의 임의의 지점에서 동일한 경로상의 다른 지점을 직접 예측할 수 있습니다. 이는 \(F(\mathbf{x}_s, s, t)\)로 표현되며, \(s\)와 \(t\)는 각각 출발점과 도착점의 노이즈 수준(시간 단계)을 나타냅니다.
* Flow Map 학습: flow map을 학습하는 방법은 크게 세 가지 일관성 규칙에 기반합니다.
* Compositionality (구성성): 여러 단계의 flow map 적용 결과가 단일 단계의 flow map 적용 결과와 동일해야 합니다 (\(F(F(\mathbf{x}_s, s, t), t, u) = F(\mathbf{x}_s, s, u)\)).
* Lagrangian Consistency (라그랑주 일관성): 도착 시간 단계 \(t\)의 미소 변화에 대한 flow map 출력의 변화율이 해당 시점의 속도 벡터와 같아야 합니다 (\(\dfrac{\partial}{\partial t} F(\mathbf{x}_s, s, t) = v(F(\mathbf{x}_s, s, t), t)\)).
* Eulerian Consistency (오일러 일관성): 출발점 \(s\)의 미소 변화에 대한 flow map 출력의 변화율이 0이어야 합니다. 즉, 출발점 자체의 움직임과 상관없이 목적지는 일정해야 합니다 (\(\dfrac{\partial}{\partial s} F(\mathbf{x}s, s, t) + \nabla{\mathbf{x}_s} F(\mathbf{x}_s, s, t) v(\mathbf{x}_s, s) = 0\)).
* Flow Map의 장점: flow map을 사용하면 샘플링 시 작은 단계로 나누어 이동할 필요 없이, 직접 목적지로 점프하여 샘플링 속도를 크게 향상시킬 수 있습니다. 이상적으로는 단 한 번의 점프로 노이즈에서 데이터 샘플을 생성할 수 있습니다.

시사점

Flow map은 diffusion model의 경로를 직접 예측함으로써 샘플링 효율성을 극대화할 수 있는 잠재력을 가지며, 기존 diffusion model 기반의 학습 방식을 활용하여 훈련할 수 있습니다.