Advantage

$A>0$ 表示这个动作比当前 policy 的平均水平更好，$A=0$ 表示相当，$A<0$ 表示更差。

一个常见误读是把 advantage 当成时间方向上的差分 $V(s_{t+1})-V(s_t)$。它实际上是同一状态内部 action value 相对 state baseline 的差值：前者比较两个时刻，后者比较同一时刻的不同选择。

Offline RL 常把 advantage 变成 behavior cloning 的样本权重，例如 $w(s,a)=\exp(A(s,a)/\beta)$。