Offline Pretraining with Online Fine-tuning for Robot Manipulation

本文提出了一种面向机器人操作的离线预训练与在线微调框架。该方法首先在大规模离线操作数据集上进行保守的离线策略学习，避免分布外动作导致的性能崩溃，然后通过少量在线交互样本进行策略微调，快速适应目标环境。实验表明该方法在多种操作任务（抓取、插入、开门）上显著优于纯离线强化学习和纯在线强化学习。适用场景包括工业机器人装配、服务机器人操作等数据采集成本高的领域。来源机构包括Google Robotics、Stanford University等。