Autoregressive Models Combined with Reinforcement Learning for Robots

本文研究了自回归模型与强化学习结合在机器人中的应用。自回归模型作为策略表达能够建模多模态动作分布，结合强化学习的试错学习能力，可以在稀疏奖励和多模态最优动作场景下取得更好效果。文章比较了不同结合方式（自回归策略+RL、自回归作为世界模型、自回归用于数据生成、引导自回归策略）在机器人控制中的表现，分析了方法的样本效率和渐近性能，并在多种机器人任务上验证了自回归与RL结合的效果。来源机构包括UC Berkeley、DeepMind、CMU等研究机构。