Energy-Based Models Combined with Reinforcement Learning for Robots

本文研究了能量模型与强化学习结合在机器人中的应用。能量模型作为策略表达能够建模多模态动作分布，结合强化学习的试错学习能力，可以在稀疏奖励和多模态最优动作场景下取得更好效果。文章比较了不同结合方式（能量模型策略+RL、能量模型作为世界模型、能量模型用于数据生成、引导能量模型策略）在机器人控制中的表现，分析了方法的样本效率和渐近性能，并在多种机器人任务上验证了能量模型与RL结合的效果。来源机构包括UC Berkeley、DeepMind、CMU等研究机构。