LayerNorm 会在隐藏维度上减去均值，并除以标准差。
它是 transformer 中基础的归一化层。不过许多现代架构会选择 RMSNorm， 以获得更低开销和足够的尺度控制。
Concept
LayerNorm
一种在隐藏维度上对激活值做中心化和重新缩放的归一化方法。
层归一化
一种在隐藏维度上对激活值做中心化和重新缩放的归一化方法。
LayerNorm 会在隐藏维度上减去均值，并除以标准差。
它是 transformer 中基础的归一化层。不过许多现代架构会选择 RMSNorm， 以获得更低开销和足够的尺度控制。