Constrained Policy Optimization for Safe Robot Control

本文深入研究了约束策略优化在安全机器人控制中的应用。约束策略优化通过将安全约束建模为约束马尔可夫决策过程中的成本约束，使用拉格朗日方法或原对偶优化同时优化任务奖励和满足安全约束。文章分析了不同约束策略优化方法（CPO、TRPO-Lagrangian、PPO-Lagrangian、约束Q学习）在机器人操作和导航中的效果，提出了自适应约束调整和安全约束泛化方法，并在多种机器人任务上验证了方法在安全满足率和任务性能上的平衡。来源机构包括Google Robotics、Stanford、MIT等。