Model-Free Policies for Robotics: A Review

本文系统综述了机器人领域无模型策略（Model-Free Policies）的最新进展。无模型策略通过直接学习从观测到动作的映射，无需显式建模环境动力学，是机器人强化学习的经典方向。文章分析了策略梯度方法、演员-评论家方法、Q学习方法、近端策略优化等核心算法，以及高维连续动作、稀疏奖励、样本效率、探索利用等关键问题。适用场景包括机器人操作、移动机器人、自动驾驶等复杂动力学难以建模的领域。来源机构包括Google DeepMind、UC Berkeley、MIT等顶尖研究机构。