Policy Improvement | 技术知识日志

判断一个方法属于 imitation 还是 reinforcement，不看 loss 的形状，看训练目标是否允许超越数据里的行为策略：

\pi\approx\pi_{\text{behavior}} \quad\text{vs.}\quad \pi_{\text{new}}\ \text{按 value 偏向更优动作}

前者是 imitation，后者才是 policy improvement。

注意 weighted behavior cloning 形式的 loss $-\mathbb E[w(s,a)\log\pi(a\mid s)]$ 仍然可以是 policy improvement —— 只要权重 $w$ 来自 advantage 而不是人为指定。

关键洞察

RL 的信息可以完全藏在 sample weight 里。看到「最后一步是 supervised regression」并不能说明它只是在做模仿。