Block-Causal Attention

Block-Causal Attention 是比 token-level causal 更灵活的 Attention 模式：将序列划分为多个 block，同一 block 内双向可见，不同 block 间保持 causal。

核心机制

通过 mask_ar 定义 block 边界：

mask_ar = [1, 0, 1, 0, 1, 0, 0]
cumsum  = [1, 1, 2, 2, 3, 3, 3]
          [blk1][blk2][blk 3]

Attention 规则：

$\text{attn\_mask}_{ij} = [\text{block}(j) \leq \text{block}(i)]$

Query 可以看到自己的 block 和之前所有 block。

mask_ar = [1, 1, 1, 1, 1]  # 每个 token 一个 block

退化为标准 causal attention（下三角矩阵）。

mask_ar = [0, 0, 0, 0, 0]  # 全部在 block 0

全连接，无 causal 限制。

mask_ar = [0, 0, 0, 1, 1, 1]
          [prefix][causal]

Prefix 内双向交互，后续生成保持 causal。常用于多模态模型。

将 image/text/state token 放在同一个 block 内，它们可以充分交互；action token 逐个生成时保持 causal。