学术前沿

Dynin-Robotics: Omnimodal Unified Diffusion VLA Model

Dynin-Robotics提出了一种全模态统一扩散VLA模型,将视觉目标预测和动力学预测引入动作生成和选择过程。该方法通过预测语言条件机器人策略的目标结果和动作依赖的场景变化,为VLA提供了更丰富的未来表示。模型将扩散模型用于动作生成,同时融合视觉、语言和动力学预测信号。在多个机器人操作基准上的实验表明,Dynin-Robotics在长视野任务和复杂接触丰富操作中取得了SOTA性能,适用于需要多模态融合和扩散策略的机器人学习场景。

论文

主体信息

Dynin-Robotics提出了一种全模态统一扩散VLA模型,将视觉目标预测和动力学预测引入动作生成和选择过程。该方法通过预测语言条件机器人策略的目标结果和动作依赖的场景变化,为VLA提供了更丰富的未来表示。模型将扩散模型用于动作生成,同时融合视觉、语言和动力学预测信号。在多个机器人操作基准上的实验表明,Dynin-Robotics在长视野任务和复杂接触丰富操作中取得了SOTA性能,适用于需要多模态融合和扩散策略的机器人学习场景。