Post-Norm 的结构是:
早期 Transformer 常使用这种形式。它的问题是 residual identity path 仍然要经过 Norm Jacobian, 在非常深的网络中可能让优化更困难。
关键洞察
Post-Norm 中,residual addition 后的主干状态会被 normalization 直接改写。
一种 transformer block 布局:先做 residual addition,再对相加结果做 normalization。
Post-Norm 的结构是:
早期 Transformer 常使用这种形式。它的问题是 residual identity path 仍然要经过 Norm Jacobian, 在非常深的网络中可能让优化更困难。
Post-Norm 中,residual addition 后的主干状态会被 normalization 直接改写。