Options Framework and Subgoal Discovery for Robot Learning

本文深入研究了选项框架（Options Framework）与子目标发现在机器人学习中的应用。选项框架将时间扩展的动作（选项）引入强化学习，每个选项包含初始化条件、内部策略和终止条件，实现了时序抽象。文章分析了不同的选项发现方法（聚类、变分推断、因果发现），以及子目标生成策略（基于状态空间划分、基于成功特征、基于目标空间），并在多种机器人长时序任务上验证了选项框架在样本效率和任务分解能力上的优势。适用场景包括多阶段操作、长时序导航等领域。来源机构包括Google Robotics、Stanford、MIT等。