Concept

OOD Action

落在数据集动作支撑之外的动作；函数逼近器在这些位置的 Q 估计只是 extrapolation error，offline 时没有环境反馈能纠正它。

out-of-distribution action分布外动作

如果数据集里的动作只覆盖 $a\in[0.1,0.3]$ ，而网络在从未见过的位置给出 $Q(s,1.5)=100$ ，这并不说明 $1.5$ 是好动作，只说明那里没有数据。直接取 $\pi(s)=\arg\max_a Q(s,a)$ 会让 policy 去 exploit 这种 extrapolation error。

关键洞察

online RL 中环境会立刻用真实 reward 否定这种幻想；offline 时没有任何东西能否定它。这就是 conservative 约束、support constraint 和 behavior regularization 存在的原因。