Offline RL | 技术知识日志

Offline RL 的数据是 $D=\{(s_t,a_t,r_t,s_{t+1})\}$ 。它不问「专家当时做了什么」，而问「数据里哪些行为最终带来更高的长期回报」。

因此它的监督链是：

r\rightarrow G\rightarrow Q/V/A\rightarrow \pi

核心矛盾是：policy improvement 要求偏离 behavior policy，但数据集之外没有真实环境反馈，偏离太远 value 估计就不可信。几乎所有算法都在这条张力上取舍：

\boxed{\text{maximize value}\ +\ \text{stay close to dataset support}}

需要注意的是，在纯专家数据上做 Offline RL，advantage 会接近处处为零，它会退化成 BC。

关键洞察

Offline RL 拟合的是行为价值而不是行为频率。即使某个动作在数据里出现更少，只要 return 更高，它也应该获得更高权重。