FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
- 会议/期刊
- arXiv
- 发表年份
- 2024
硅基参考论文库整理具身智能论文的作者、机构、会议、方法与代码关联;同一板块也可阅读论文解读跟进文章。
清华联合正行创新、无问芯穹提出 Harness VLA:记忆增强的 Harness 层把冻结 VLA 封装为可重试的接触丰富原语,与解析原语组合执行,零微调在 LIBERO-Pro 拿下 82.4%,低成本路线正面击败重训派。
蚂蚁灵波发布 LingBot-VA 2.0:以 SemVAE 统一视觉与动作分词、因果预训练配稀疏 MoE 骨干、异步推理实现高频闭环控制,真机验证少样本泛化。具身原生路线与暴力 Scaling 路线正面对照。
小米机器人团队发布Xiaomi-Robotics-1,用10万+小时UMI真实操作轨迹预训练VLA模型,RoboCasa365以57.4%刷新SOTA,代码与权重将开源。
FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。
SpatialVLA是斯坦福大学等机构于2024年提出的增强空间推理能力的视觉-语言-动作模型。该模型在标准VLA架构中引入三维空间感知模块,使机器人能够理解物体间的空间关系、支撑面和可达性约束,从而更准确地执行需要精细空间推理的操作任务。SpatialVLA在多步桌面操作和家庭场景基准上验证了空间推理对VLA性能的提升,为解决VLA模型在长程操作中的泛化问题提供了新思路。适用于家庭整理、桌面操作和人机协作场景。
3D Diffuser Actor是NVIDIA于2024年提出的三维扩散操作策略模型,将扩散策略从二维图像空间扩展到三维点云空间。该模型直接从3D点云中学习机器人末端执行器的动作分布,结合条件扩散过程生成多步动作序列,显著提升了对遮挡、视角变化和物体位姿不确定性的鲁棒性。在CALVIN和仿真操作基准上,3D Diffuser Actor超越了此前的二维扩散策略和Transformer方法,为三维视觉引导的机器人操作提供了新范式。适用于工业分拣、柔性装配和非结构化环境操作。
pi0.5是Physical Intelligence于2025年提出的视觉-语言-动作流模型,是pi0的后续版本,专注于实现野外环境中的高速机器人控制。该模型采用流匹配(flow matching)架构,在保持长程推理能力的同时大幅降低推理延迟,使机器人能够在动态、非结构化环境中实时响应。pi0.5在家庭和工业场景的多个操作任务上展示了从仿真到真实世界的零样本迁移能力,被视为通用具身智能从实验室走向实际应用的重要进展。适用于家庭服务、工业巡检和移动操作场景。
TinyVLA是2025年提出的轻量级视觉-语言-动作模型,旨在通过参数高效的设计将VLA能力部署到资源受限的机器人平台上。该模型通过知识蒸馏、结构剪枝和动作分块技术,在保持操作性能的同时将模型参数量压缩到极小规模,使得VLA模型可以在单板计算机或边缘设备上实时运行。TinyVLA在多个桌面操作任务上验证了其性能与效率的平衡,为消费级机器人和教育科研平台部署VLA提供了可行路径。适用于教育机器人、低成本操作平台和边缘部署场景。
Genie是Google DeepMind于2024年提出的生成式交互式环境模型,能够从单张图像生成可交互的2D世界。该模型结合视频扩散模型和动作条件生成,允许用户通过键盘或游戏手柄实时控制生成的世界中的角色,实现开放世界交互。Genie展示了从互联网视频中学习可交互物理动态的能力,为机器人训练中的合成环境生成和世界模型研究开辟了新方向。适用于游戏环境生成、机器人仿真训练和开放世界交互研究。
V-JEPA 2是Meta FAIR于2025年提出的视频-联合嵌入预测架构(V-JEPA)的第二代模型,专为具身机器人控制设计。该模型通过自监督学习从大规模未标注视频中学习物理世界表征,并将学到的表征直接用于机器人规划和控制,无需大规模机器人演示数据。V-JEPA 2在多个机器人操作和导航基准上展现出零样本和少样本迁移能力,验证了自监督视频预测模型作为通用具身智能基座的潜力。适用于机器人运动规划、场景理解和模拟到真实迁移场景。
π0由Physical Intelligence于2024年提出,是一个基于流匹配(flow matching)的视觉-语言-动作模型,用于通用机器人控制。π0采用专家Transformer架构,将预训练VLM与动作专家解耦,通过流匹配生成连续动作轨迹。模型在数万小时机器人数据上训练,支持多任务、多本体的通用操作。π0在机械臂操作、移动操作和灵巧手任务上取得了当时SOTA性能,其开源版本π0.5进一步提升了长时序任务能力,是具身智能领域的标志性工作之一。
GR00T N1由NVIDIA与Figure AI等机构于2025年联合提出,是一个面向人形机器人的开放基础模型。模型采用VLA(视觉-语言-动作)架构,将世界模型与动作生成相结合,支持双足人形机器人的全身控制和双手操作。GR00T N1在大规模仿真和真实机器人数据上训练,可直接部署到多种人形机器人硬件平台。该论文详细描述了模型架构、训练数据管道和零样本/少样本迁移能力,是人形机器人基础模型领域的重要工作。
ActionPiece重新思考自回归VLA模型中的动作分词问题,通过表示学习和量化的联合监督保持物理动作关系。物理秩保持监督编码器和量化特征距离中的近远排序,量化正则化将相同排序应用于码字分配分布。两个目标增强重构,为标准自回归策略学习生成离散动作token,并通过冻结解码器执行。在相同Qwen3-VL-4B策略训练设置下,ActionPiece在多个基准上达到94.8%的成功率,显著优于现有动作分词方法,适用于自回归VLA策略学习和动作表示研究。
Dynin-Robotics提出了一种全模态统一扩散VLA模型,将视觉目标预测和动力学预测引入动作生成和选择过程。该方法通过预测语言条件机器人策略的目标结果和动作依赖的场景变化,为VLA提供了更丰富的未来表示。模型将扩散模型用于动作生成,同时融合视觉、语言和动力学预测信号。在多个机器人操作基准上的实验表明,Dynin-Robotics在长视野任务和复杂接触丰富操作中取得了SOTA性能,适用于需要多模态融合和扩散策略的机器人学习场景。
VLA-Precision提出了一种高效的真实世界在线强化学习框架,包含非对称协同自举(ACoB)算法和ACoB-Stream架构。ACoB在不同时间尺度上建立非对称协同自举:早期干预引导的行为学习快速提升策略性能同时增强在线经验质量;随着自主经验积累,全局回报传播和局部偏好排序逐步校准价值估计。该框架解决了VLA在线RL中样本效率低和真实世界数据收集困难的问题,适用于需要在线适配和持续学习的机器人操作场景。
sensVLA提出了一种空间grounding VLA架构,用于自主轮式装载机的自动驾驶。该模型将Qwen3-2B视觉语言模型与完全可训练的Transformer动作专家结合,通过流匹配速度回归进行训练。sensVLA将从前后融合激光雷达提取的鸟瞰图(BEV)特征通过专用交叉注意力路径直接路由到动作专家,同时VLM消费前后RGB视图。该方法在工程车辆自动驾驶场景中验证了空间感知VLA的有效性,适用于工程机械、自动驾驶和复杂户外导航等场景。
PHR-VLA提出了一种在VLA模型中实现规划视野推理的框架,通过特权潜在未来动力学表示解决当前VLA主要基于当前观测条件动作预测、缺乏对未来任务动态显式推理机制的问题,这对于细粒度、接触丰富的操作尤为重要。PHR-VLA引入轻量级辅助未来头,在训练期间将VLA内部表示与从未来观测中提取的潜在动力学对齐。实验表明PHR-VLA在接触丰富的长视野操作任务上显著优于基线VLA模型,适用于需要时序推理和未来规划的机器人操作场景。
SAVLA提出了一种端到端对称感知VLA模型,用于鲁棒且数据高效的策略学习。该方法保持预训练视觉语言主干完全冻结,结合等变流匹配动作头和学习到的规范化器。动作头将状态、动作和条件输入分解为不变和等变通道,并在所有层中保持这种类型化。规范化器将斜视图像转换到规范坐标系并旋转几何条件。在多个机器人操作任务上,SAVLA相比标准VLA基线实现了显著更好的数据效率和泛化能力。适用于需要对称不变性的桌面操作、物体抓取和放置等场景。
InternVideo视频理解基础模型。
MMDetection开放目标检测工具箱,OpenMMLab核心。
因果推断综述,Schölkopf因果ML方向。
层归一化,Transformer训练的标准组件。
离线强化学习综述,Levine方向代表作。
大规模分布式强化学习在Dota2击败人类职业队。
在代码上训练的LLM(Codex/GPT-Code),奠定Copilot。
深度网络持续学习综述:方法、评估与开放问题。
用神经网络学习可解释程序的递归执行框架。
模拟人类反馈的训练环境,降低RLHF研究成本。
原始音频波形生成的因果扩张卷积模型,奠定神经声码器方向。
我是硅基参考 Agent,熟产品库、数据集、公司档案和近期资讯。你可以直接问,也可以先让我了解你是谁、在看什么——我会把库里的资料和你说的话对上号,像同事聊天那样一点点聊。