Transformer Policies Combined with Reinforcement Learning for Robots

本文提出了一种面向机器人的Transformer策略与强化学习结合方法。Transformer策略通过自注意力建模长序列依赖，结合强化学习的试错学习能力，可以在稀疏奖励和长时序任务中取得更好效果。文章分析了不同结合方式（Transformer策略+在线RL、Transformer策略+离线RL、Transformer作为世界模型+RL、Transformer用于奖励建模）对学习效率的影响，提出了结合预训练与在线微调的方法，并在仿真和真实机器人上验证了Transformer策略在长时序任务中的样本效率和任务成功率优势。来源机构包括Google Research、MIT、Oxford等。