技术知识日志
Concept

adaptive normalization

由条件向量动态生成 scale、shift 或 gate 等调制参数的归一化方式。

自适应归一化conditional normalization

Adaptive normalization 在普通 normalization 的基础上加入条件路径。条件向量可以来自 timestep、 文本、类别、机器人状态或其他上下文。

常见抽象形式是：

z=Norm(x)⊙(1+s(c))+b(c)z = Norm(x) \odot (1+s(c)) + b(c)

其中 (c) 是条件输入，(s(c)) 和 (b(c)) 是由条件输入产生的调制参数。

关键洞察

adaptive normalization 先提供稳定基准，再让条件信号有控制地改变特征读取方式。