Concept

Post-Norm

一种 transformer block 布局:先做 residual addition,再对相加结果做 normalization。

post normalization后归一化

Post-Norm 的结构是:

xl+1=Norm(xl+F(xl))x_{l+1}=Norm(x_l+F(x_l))

早期 Transformer 常使用这种形式。它的问题是 residual identity path 仍然要经过 Norm Jacobian, 在非常深的网络中可能让优化更困难。

关键洞察

Post-Norm 中,residual addition 后的主干状态会被 normalization 直接改写。