Concept

Residual Stream

transformer 模块共同读取并通过残差加法持续更新的隐藏表示。

residual pathwayresidual state

残差流是在 transformer 中持续传递的共享隐藏状态。每个模块从中读取，计算更新，再把更新加回去。

归一化会影响更新如何被计算。Pre-Norm 保持恒等路径不被破坏， RMSNorm 或 AdaRMS 则控制产生更新时的计算尺度。

关键洞察

如果把残差流当成中心对象，许多 transformer 设计选择会更容易理解。