Concepts

概念

概念页会根据 frontmatter 自动聚合相关文章、学习线程和相关概念。

adaptive normalization

由条件向量动态生成 scale、shift 或 gate 等调制参数的归一化方式。

一种自适应 RMS 风格归一化，用条件上下文调制归一化后的隐藏状态。

定义 Transformer 中 Query-Key 二维关系的矩阵，控制哪些 token 可以互相通信

将序列划分为多个 block，同一 block 内双向可见，不同 block 间保持 causal 关系

连续时间随机过程，增量独立且满足高斯分布，是 SDE 中 dW_t 的来源。

给定 observation 和 task/subtask 条件后，机器人数据中合理 action chunk 的经验分布。

通过加噪过程把数据分布变成简单噪声分布，再学习反向生成过程的生成模型。

一类学习连续变换速度场的生成建模方法，常用于从带噪样本逐步生成目标样本。

一种在隐藏维度上对激活值做中心化和重新缩放的归一化方法。

过滤序列中的 padding token，防止它们参与 Attention 计算和污染 Position Encoding

一种 transformer block 布局：先做 residual addition，再对相加结果做 normalization。

一种 transformer 模块布局：归一化发生在注意力或 MLP 更新之前。

一种混合 Attention 模式，prefix 内双向交互，后续生成保持 causal，常用于多模态条件生成

将子模块输出作为增量加回输入的连接方式，是深层网络稳定训练的重要结构。

transformer 模块共同读取并通过残差加法持续更新的隐藏表示。

一种不减均值、只用均方根重新缩放向量的归一化方法。

同时包含确定性 drift 和随机 Brownian 增量的连续时间动力系统。

将 diffusion 或 flow timestep 注入模型，使网络能根据当前生成阶段改变计算。

Physical Intelligence / OpenPI 系列中的模型变体，在本文语境中主要作为 π₀.₅ timestep 注入方式的对比对象。

Physical Intelligence / OpenPI 系列中的模型变体，使用更深入的 timestep conditioning 控制 Action Expert。

π₀.₅ 中负责动作生成的 expert，在本文语境中通过 adaRMS 接收 timestep 条件调制。