学术前沿

具身智能论文库

硅基参考论文库整理具身智能论文的作者、机构、会议、方法与代码关联;同一板块也可阅读论文解读跟进文章。

5
论文解读

最近更新

查看全部
论文
FastVLA: Towards High-Frequency Vision-Language-Action Model for Robotic Control

FastVLA是2024年提出的高频视觉-语言-动作模型,针对现有VLA模型推理速度慢、无法满足机器人实时控制要求的问题进行优化。该模型通过引入高效的动作token化、并行解码和知识蒸馏技术,将VLA模型的推理频率提升到数百赫兹级别,同时保持与基线模型相当的操作成功率。FastVLA在动态跟踪和高速反应任务上展示了实时控制的优势,为VLA模型在需要高频反馈的机器人控制场景中的应用扫清了障碍。适用于动态环境交互、高速抓取和反应式控制。

会议/期刊
arXiv
发表年份
2024
论文
SpatialVLA: Vision-Language-Action Model with Spatial Reasoning for Robotic Manipulation

SpatialVLA是斯坦福大学等机构于2024年提出的增强空间推理能力的视觉-语言-动作模型。该模型在标准VLA架构中引入三维空间感知模块,使机器人能够理解物体间的空间关系、支撑面和可达性约束,从而更准确地执行需要精细空间推理的操作任务。SpatialVLA在多步桌面操作和家庭场景基准上验证了空间推理对VLA性能的提升,为解决VLA模型在长程操作中的泛化问题提供了新思路。适用于家庭整理、桌面操作和人机协作场景。

会议/期刊
arXiv
发表年份
2024
论文
3D Diffuser Actor: Diffusion Policy in 3D for Robotic Manipulation

3D Diffuser Actor是NVIDIA于2024年提出的三维扩散操作策略模型,将扩散策略从二维图像空间扩展到三维点云空间。该模型直接从3D点云中学习机器人末端执行器的动作分布,结合条件扩散过程生成多步动作序列,显著提升了对遮挡、视角变化和物体位姿不确定性的鲁棒性。在CALVIN和仿真操作基准上,3D Diffuser Actor超越了此前的二维扩散策略和Transformer方法,为三维视觉引导的机器人操作提供了新范式。适用于工业分拣、柔性装配和非结构化环境操作。

会议/期刊
arXiv
发表年份
2024
论文
Genie: Generative Interactive Environments

Genie是Google DeepMind于2024年提出的生成式交互式环境模型,能够从单张图像生成可交互的2D世界。该模型结合视频扩散模型和动作条件生成,允许用户通过键盘或游戏手柄实时控制生成的世界中的角色,实现开放世界交互。Genie展示了从互联网视频中学习可交互物理动态的能力,为机器人训练中的合成环境生成和世界模型研究开辟了新方向。适用于游戏环境生成、机器人仿真训练和开放世界交互研究。

会议/期刊
arXiv
发表年份
2024
论文
pi0: A Vision-Language-Action Flow Model for General Robot Control

π0由Physical Intelligence于2024年提出,是一个基于流匹配(flow matching)的视觉-语言-动作模型,用于通用机器人控制。π0采用专家Transformer架构,将预训练VLM与动作专家解耦,通过流匹配生成连续动作轨迹。模型在数万小时机器人数据上训练,支持多任务、多本体的通用操作。π0在机械臂操作、移动操作和灵巧手任务上取得了当时SOTA性能,其开源版本π0.5进一步提升了长时序任务能力,是具身智能领域的标志性工作之一。

会议/期刊
arXiv
发表年份
2024