Distribution Shift | 技术知识日志

在 sequential decision making 中，policy 会改变自己未来要面对的数据分布。BC 训练时 $s\sim d_{\pi_E}$ ，部署时 $s\sim d_{\pi_\theta}$ ，因此：

d_{\pi_E}(s)\neq d_{\pi_\theta}(s)

一旦 learner 进入示教数据未覆盖的状态，它的误差会更大，从而更快偏离专家轨迹，形成 compounding error。

关键洞察

分类模型预测错一张图片不会改变下一张图片是什么；机器人动作错一步会直接改变下一时刻看到的世界。这是 imitation learning 和普通监督学习最本质的差别。