技术知识日志
Concept

Behavior Cloning

把策略学习当成监督学习：直接拟合专家在示教状态下的动作，不需要 reward。

BC行为克隆

Behavior Cloning (BC) 把 policy learning 压成一个监督学习问题。给定专家示教 D={(si,aiE)}D=\{(s_i,a_i^E)\}，直接最大化条件似然：

LBC=−E(s,a)∼Dlog⁡πθ(a∣s)\mathcal L_{\text{BC}}=-\mathbb E_{(s,a)\sim D}\log\pi_\theta(a\mid s)

它使用的监督关系只有 s→aEs\rightarrow a^E：不需要 reward，也不需要建模环境 dynamics。代价是 它默认「专家动作就是标准答案」，并且默认训练时的状态分布和部署时一致。

关键洞察

BC 拟合的是行为频率：一个动作在数据中出现得越多，policy 越倾向复制它。它无法区分数据里的好 行为和坏行为。