SoftVTBench是一个物理交互感知的可变形物体操作视觉触觉数据集和基准测试,包含4000个专家演示和50多个资产,包括体积可变形物体和视觉匹配的刚性对应物。每个回合以20Hz同步采集多视角RGB、双指触觉RGB和标记运动、本体感受、语言以及二值和连续夹爪动作,同时提供仅评估者可用的有限元分析(FEM)数据。该基准旨在推动可变形物体操作中的视觉触觉融合研究,适用于软体操作、布料折叠、绳索操控和接触丰富操作策略的评估。
SoftVTBench: 可变形物体操作视觉触觉数据集与基准测试
SoftVTBench是一个物理交互感知的可变形物体操作视觉触觉数据集和基准测试,包含4000个专家演示和50多个资产,包括体积可变形物体和视觉匹配的刚性对应物。每个回合以20Hz同步采集多视角RGB、双指触觉RGB和标记运动、本体感受、语言以及二值和连续夹爪动作,同时提供仅评估者可用的有限元分析(FEM)数据。该基准旨在推动可变形物体操作中的视觉触觉融合研究,适用于软体操作、布料折叠、绳索操控和接触丰富操作策略的评估。
关键指标
任务成功率
触觉预测精度
FEM物理一致性误差
动作平滑度
测试方法与条件
在仿真和真实环境中评估VLA和操作策略在可变形物体上的表现,使用FEM ground truth作为物理正确性评估指标