ViLA: Vision and Language Action Model

ViLA (Vision and Language Action Model)是2023年提出的视觉-语言-动作模型，通过将视觉编码器、语言模型和动作预测器联合训练，实现了从视觉输入和语言指令到机器人动作的端到端映射。ViLA采用预训练的视觉编码器和大语言模型作为骨干，通过动作token化和自回归预测实现机器人操作策略学习。该模型在多个机器人操作任务上展示了强大的泛化能力和零样本迁移能力，是VLA模型领域的代表性工作之一。