Asynchronous and Synchronous Training for Distributed Robot Reinforcement Learning

本文研究了分布式机器人强化学习中异步与同步训练的对比与选择。文章分析了异步训练的高吞吐但梯度陈旧问题，以及同步训练的稳定但等待开销问题，提出了一种混合式训练方法，结合两者的优势。实验在多种机器人任务上比较了不同训练方式的性能，分析了环境数量、计算资源、网络延迟对最优训练方式的影响，并给出了实践指导建议。来源机构包括UC Berkeley、Google Research、Oxford等。