FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
- 会议/期刊
- arXiv
- 发表年份
- 2024
硅基参考论文库整理具身智能论文的作者、机构、会议、方法与代码关联;同一板块也可阅读论文解读跟进文章。
清华联合正行创新、无问芯穹提出 Harness VLA:记忆增强的 Harness 层把冻结 VLA 封装为可重试的接触丰富原语,与解析原语组合执行,零微调在 LIBERO-Pro 拿下 82.4%,低成本路线正面击败重训派。
蚂蚁灵波发布 LingBot-VA 2.0:以 SemVAE 统一视觉与动作分词、因果预训练配稀疏 MoE 骨干、异步推理实现高频闭环控制,真机验证少样本泛化。具身原生路线与暴力 Scaling 路线正面对照。
小米机器人团队发布Xiaomi-Robotics-1,用10万+小时UMI真实操作轨迹预训练VLA模型,RoboCasa365以57.4%刷新SOTA,代码与权重将开源。
FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
SpatialVLA是斯坦福大学等机构于2024年提出的增强空间推理能力的视觉-语言-动作模型。该模型在标准VLA架构中引入三维空间感知模块,使机器人能够理解物体间的空间关系、支撑面和可达性约束,从而更准确地执行需要精细空间推理的操作任务。SpatialVLA在多步桌面操作和家庭场景基准上验证了空间推理对VLA性能的提升,为解决VLA模型在长程操作中的泛化问题提供了新思路。适用于家庭整理、桌面操作和人机协作场景。
3D Diffuser Actor是NVIDIA于2024年提出的三维扩散操作策略模型,将扩散策略从二维图像空间扩展到三维点云空间。该模型直接从3D点云中学习机器人末端执行器的动作分布,结合条件扩散过程生成多步动作序列,显著提升了对遮挡、视角变化和物体位姿不确定性的鲁棒性。在CALVIN和仿真操作基准上,3D Diffuser Actor超越了此前的二维扩散策略和Transformer方法,为三维视觉引导的机器人操作提供了新范式。适用于工业分拣、柔性装配和非结构化环境操作。
Genie是Google DeepMind于2024年提出的生成式交互式环境模型,能够从单张图像生成可交互的2D世界。该模型结合视频扩散模型和动作条件生成,允许用户通过键盘或游戏手柄实时控制生成的世界中的角色,实现开放世界交互。Genie展示了从互联网视频中学习可交互物理动态的能力,为机器人训练中的合成环境生成和世界模型研究开辟了新方向。适用于游戏环境生成、机器人仿真训练和开放世界交互研究。
π0由Physical Intelligence于2024年提出,是一个基于流匹配(flow matching)的视觉-语言-动作模型,用于通用机器人控制。π0采用专家Transformer架构,将预训练VLM与动作专家解耦,通过流匹配生成连续动作轨迹。模型在数万小时机器人数据上训练,支持多任务、多本体的通用操作。π0在机械臂操作、移动操作和灵巧手任务上取得了当时SOTA性能,其开源版本π0.5进一步提升了长时序任务能力,是具身智能领域的标志性工作之一。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。