FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
- 会议/期刊
- arXiv
- 发表年份
- 2024
硅基参考论文库整理具身智能论文的作者、机构、会议、方法与代码关联;同一板块也可阅读论文解读跟进文章。
清华联合正行创新、无问芯穹提出 Harness VLA:记忆增强的 Harness 层把冻结 VLA 封装为可重试的接触丰富原语,与解析原语组合执行,零微调在 LIBERO-Pro 拿下 82.4%,低成本路线正面击败重训派。
蚂蚁灵波发布 LingBot-VA 2.0:以 SemVAE 统一视觉与动作分词、因果预训练配稀疏 MoE 骨干、异步推理实现高频闭环控制,真机验证少样本泛化。具身原生路线与暴力 Scaling 路线正面对照。
小米机器人团队发布Xiaomi-Robotics-1,用10万+小时UMI真实操作轨迹预训练VLA模型,RoboCasa365以57.4%刷新SOTA,代码与权重将开源。
FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
SpatialVLA是斯坦福大学等机构于2024年提出的增强空间推理能力的视觉-语言-动作模型。该模型在标准VLA架构中引入三维空间感知模块,使机器人能够理解物体间的空间关系、支撑面和可达性约束,从而更准确地执行需要精细空间推理的操作任务。SpatialVLA在多步桌面操作和家庭场景基准上验证了空间推理对VLA性能的提升,为解决VLA模型在长程操作中的泛化问题提供了新思路。适用于家庭整理、桌面操作和人机协作场景。
3D Diffuser Actor是NVIDIA于2024年提出的三维扩散操作策略模型,将扩散策略从二维图像空间扩展到三维点云空间。该模型直接从3D点云中学习机器人末端执行器的动作分布,结合条件扩散过程生成多步动作序列,显著提升了对遮挡、视角变化和物体位姿不确定性的鲁棒性。在CALVIN和仿真操作基准上,3D Diffuser Actor超越了此前的二维扩散策略和Transformer方法,为三维视觉引导的机器人操作提供了新范式。适用于工业分拣、柔性装配和非结构化环境操作。
Genie是Google DeepMind于2024年提出的生成式交互式环境模型,能够从单张图像生成可交互的2D世界。该模型结合视频扩散模型和动作条件生成,允许用户通过键盘或游戏手柄实时控制生成的世界中的角色,实现开放世界交互。Genie展示了从互联网视频中学习可交互物理动态的能力,为机器人训练中的合成环境生成和世界模型研究开辟了新方向。适用于游戏环境生成、机器人仿真训练和开放世界交互研究。
MimicGen是NVIDIA提出的机器人操作数据自动生成框架,利用少量专家演示自动生成大规模多样化的模仿学习数据集,显著降低机器人技能训练的数据收集成本。系统通过在仿真中自动变换物体位置、初始状态和环境配置,基于单条演示生成数百条有效的轨迹数据。在MimicGen数据集上训练的策略在真实机器人上达到SOTA性能,适用于桌面操作、工业抓取和家庭服务等技能学习场景,发表于RSS 2024。
RVT(Robotic View Transformer)是斯坦福大学提出的六自由度拾取放置操作策略模型,采用Transformer架构对多视角观测进行建模,直接输出SE(3)位姿和开合程度。该方法在RLBench和真实UR5e机器人上验证,在超过20个操作任务上达到SOTA性能,同时具备快速收敛和高数据效率的特点。适用于桌面级机械臂通用操作、工业分拣和仓储物流抓取场景,发表于CoRL 2024。
Mobile ALOHA由斯坦福大学于2024年提出,是一个低成本的双臂移动机器人系统和数据收集方案。系统基于远程操作平台,使用全栈式遥操作让人类演示者控制移动底盘和双臂,在50小时内收集了跨场景的移动操作数据。论文提出了全栈式模仿学习pipeline,从数据收集到策略训练再到部署,验证了在真实家庭环境中完成50+日常任务的能力。Mobile ALOHA因其低成本和可复现性,成为机器人学习社区广泛参考的开源移动操作平台。
RoboCasa由UT Austin等机构于2024年提出,是一个面向家庭场景的大规模机器人仿真环境。RoboCasa包含100+家庭任务和多样化家具布局,支持可变形物体、衣物折叠等复杂物理交互。环境基于Isaac Sim构建,提供高并行仿真能力,可用于训练通用机器人策略。论文展示了在RoboCasa中训练的策略可迁移到真实机械臂上完成家庭操作任务,为通用家务机器人研究提供了重要的仿真平台和基准。
π0由Physical Intelligence于2024年提出,是一个基于流匹配(flow matching)的视觉-语言-动作模型,用于通用机器人控制。π0采用专家Transformer架构,将预训练VLM与动作专家解耦,通过流匹配生成连续动作轨迹。模型在数万小时机器人数据上训练,支持多任务、多本体的通用操作。π0在机械臂操作、移动操作和灵巧手任务上取得了当时SOTA性能,其开源版本π0.5进一步提升了长时序任务能力,是具身智能领域的标志性工作之一。
Octo由UC Berkeley等机构于2024年提出,是一个开源的通用机器人策略模型。Octo基于Transformer架构,在Open X-Embodiment数据集上训练,支持多种机器人本体和操作任务。模型提供了预训练权重和微调工具包,支持从少量演示数据快速适配新任务。Octo在7个机器人平台上验证了跨本体泛化能力,为研究人员提供了可复现的通用机器人策略基线,已成为机器人学习社区广泛使用的开源VLA模型之一。
Google DeepMind发表的论文,提出GeRM(Generalist Robot Model)通用机器人模型,能够处理多种机器人任务和多种机器人平台。该模型采用统一的架构,在多个机器人操作任务上展现了强大的泛化能力,是通用机器人模型领域的重要进展。arXiv:2409.03801。
InternVL视觉-语言基础模型,上海AI Lab代表。
OLMo开放大语言模型与训练栈,开放科学代表。
提出分层机器人 Transformer,官网摘要称成功率提升 20-30%,推理速度近乎翻倍。
提出预测-动作联合去噪框架,将图像预测与动作输出在同一扩散过程中学习。
利用视频扩散模型预测视觉表征作为机器人策略输入,实现通用机器人策略。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。