Conservative Q-Learning with Online Fine-tuning for Robotics

本文将保守Q学习（CQL）与在线微调相结合，提出了一种适用于机器人的离线到在线强化学习算法。CQL通过保守的Q值估计避免离线学习中的分布外泛化问题，在线微调阶段则通过重要性采样和正则化项防止策略偏离离线数据分布过远。实验在仿真和真实机器人上验证了该方法在抓取、推物、堆叠等任务上的有效性。适用场景包括机器人操作、移动机器人导航等领域。来源机构包括UC Berkeley、Google Research等。