Hindsight Experience Replay for Robot Learning

本文深入研究了后见之明经验回放（Hindsight Experience Replay, HER）在机器人学习中的应用。HER通过将失败轨迹重新标记为达到实际终点的成功轨迹，解决了稀疏奖励环境下的样本效率问题。文章分析了不同的目标重标记策略（final、future、episode、random）对学习性能的影响，提出了结合HER与离线强化学习的方法，并在多种机器人操作任务上验证了效果。适用场景包括稀疏奖励的操作、导航等任务。来源机构包括OpenAI、Google Robotics、Montreal大学等。