Offline Policies for Robotics: A Review

本文系统综述了机器人领域离线策略（Offline Policies）的最新进展。离线策略通过完全利用预先收集的数据集学习策略，无需与环境交互，是机器人强化学习的重要方向。文章分析了行为正则化方法、保守Q学习、隐式Q学习、模型驱动方法等核心算法，以及分布外泛化、外推误差、数据质量等关键问题。适用场景包括机器人操作、移动机器人、自动驾驶等难以在线试错的领域。来源机构包括Google DeepMind、UC Berkeley、MIT等顶尖研究机构。