Residual connection 的基本形式是：
它让网络层学习增量更新，而不是每一层都重新构造完整表示。在 Transformer 中，许多层的 residual connection 串联起来形成 residual stream。
关键洞察
residual connection 把深层网络的学习问题从“重写状态”变成“向状态写入更新”。
Concept
residual connection
将子模块输出作为增量加回输入的连接方式，是深层网络稳定训练的重要结构。
残差连接skip connection