Concept

Diffusion model

通过加噪过程把数据分布变成简单噪声分布,再学习反向生成过程的生成模型。

Diffusion

Diffusion model 可以理解为先设计一个 forward noising process,把数据逐渐扩散到简单噪声分布, 再训练模型学习反向生成过程。

在线性高斯设定里,许多小步噪声可以压缩成:

Xt=atX0+btϵ,ϵN(0,I)X_t = a_t X_0 + b_t \epsilon, \qquad \epsilon \sim \mathcal{N}(0,I)

这解释了训练时为什么可以直接采样 ttϵ\epsilon 构造 XtX_t, 而不需要真的从 00tt 跑很多步 forward diffusion。

关键洞察

一个数据点在固定时间 tt 上不是沿唯一轨迹运动,而是对应一个以 atX0a_tX_0 为中心的 Gaussian cloud。