该评测针对SO-101操作基准上的主流VLA模型进行了系统性的失败模式与恢复能力分析。SO-101包含101种日常操作任务,覆盖抓取、放置、开合、工具使用等多种操作类型。评测对RT-2、pi0、CogACT等多个VLA模型在SO-101上的表现进行了详细拆解,分析了不同失败类型(感知错误、规划错误、执行错误)的分布,并评估了模型在失败后的自我恢复能力。评测结果为VLA模型的改进方向提供了数据驱动的指导,适用于VLA模型性能评估和操作策略研究。
Benchmarking Vision-Language-Action Models on SO-101: Failure and Recovery Analysis
该评测针对SO-101操作基准上的主流VLA模型进行了系统性的失败模式与恢复能力分析。SO-101包含101种日常操作任务,覆盖抓取、放置、开合、工具使用等多种操作类型。评测对RT-2、pi0、CogACT等多个VLA模型在SO-101上的表现进行了详细拆解,分析了不同失败类型(感知错误、规划错误、执行错误)的分布,并评估了模型在失败后的自我恢复能力。评测结果为VLA模型的改进方向提供了数据驱动的指导,适用于VLA模型性能评估和操作策略研究。
测试方法与条件
在SO-101基准的101个操作任务上对多个VLA模型进行标准化测试,记录成功率、失败类型和恢复行为