RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

RT-2是Google DeepMind于2023年提出的视觉-语言-动作（VLA）模型，将互联网规模的视觉语言知识直接迁移到机器人控制中。该模型基于PaLI-X和PaLM-E架构，通过在机器人轨迹数据上联合微调，使机器人能够理解自然语言指令并输出可执行的动作序列，在泛化能力和语义推理方面显著优于传统方法。arXiv:2307.15818。