Offline-to-Online Reinforcement Learning for Robotics: A Review

本文系统综述了机器人领域离线到在线强化学习（Offline-to-Online RL）的最新进展。离线到在线强化学习结合了离线预训练和在线微调的优势，先利用大规模离线数据学习初始策略，再通过在线交互进一步提升性能。文章分析了离线预训练中的分布外泛化问题、在线微调中的灾难性遗忘问题，以及二者之间的知识迁移机制。适用场景包括机器人操作、导航、运动控制等需要大量交互数据但在线采样成本高的领域。来源机构包括Google DeepMind、UC Berkeley、MIT等顶尖研究机构。