Concept

RMSNorm

一种不减均值、只用均方根重新缩放向量的归一化方法。

均方根层归一化

RMSNorm 用均方根对隐藏向量做归一化：

\operatorname{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{d}\sum_i x_i^2 + \epsilon}} \odot g

它和 LayerNorm 的关键区别是不会减去均值。这让 RMSNorm 更简单，同时仍然能控制激活尺度。

关键洞察

RMSNorm 主要控制幅值，而不是做零中心化。