Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions

Q-Transformer是Google DeepMind于2023年提出的离线强化学习算法，通过自回归Q函数实现可扩展的机器人操作策略学习。该方法将连续动作空间离散化，使用Transformer架构预测Q值序列，在机器人操作任务上显著优于传统离线RL方法。Q-Transformer为大规模机器人数据驱动的策略学习提供了新范式，已被广泛应用于机器人操作和具身智能研究。