AdaRMS 可以理解为带有自适应条件调制路径的 RMS 风格归一化。 基础归一化控制隐藏状态幅值;自适应部分让另一个信号, 例如时间步 embedding,改变归一化后的状态如何参与模块计算。
读模型代码时,可以寻找类似 RMSNorm 的操作,以及来自条件特征的投影。 这个投影可能产生缩放、平移或门控参数。
关键洞察
AdaRMS 同时是归一化机制和条件调制机制。
一种自适应 RMS 风格归一化,用条件上下文调制归一化后的隐藏状态。
AdaRMS 可以理解为带有自适应条件调制路径的 RMS 风格归一化。 基础归一化控制隐藏状态幅值;自适应部分让另一个信号, 例如时间步 embedding,改变归一化后的状态如何参与模块计算。
读模型代码时,可以寻找类似 RMSNorm 的操作,以及来自条件特征的投影。 这个投影可能产生缩放、平移或门控参数。
AdaRMS 同时是归一化机制和条件调制机制。