Open-vocabulary Manipulation Benchmark是机器人开放词汇物体操作研究社区维护的标准化评测基准,用于公平比较不同开放词汇操作方法在各类任务上的语言理解、物体识别和操作性能。基准涵盖开放词汇检测与分割、语言条件操作、零样本/少样本操作、3D开放词汇操作、VLA模型等多种开放词汇操作范式,包括拾取放置(pick-and-place)、堆叠(stacking)、插入(insertion)、整理(tidying)、包装(packing)等多种操作任务,支持已知物体、相似物体、新物体等不同泛化级别。基准提供了统一的语言指令接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(RLBench、CALVIN、RoboCasa等)和真实机器人平台。
Open-vocabulary Manipulation Benchmark
Open-vocabulary Manipulation Benchmark是机器人开放词汇物体操作研究社区维护的标准化评测基准,用于公平比较不同开放词汇操作方法在各类任务上的语言理解、物体识别和操作性能。基准涵盖开放词汇检测与分割、语言条件操作、零样本/少样本操作、3D开放词汇操作、VLA模型等多种开放词汇操作范式,包括拾取放置(pick-and-place)、堆叠(stacking)、插入(insertion)、整理(tidying)、包装(packing)等多种操作任务,支持已知物体、相似物体、新物体等不同泛化级别。基准提供了统一的语言指令接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(RLBench、CALVIN、RoboCasa等)和真实机器人平台。
测试方法与条件
在统一语言指令和任务下运行各开放词汇操作方法,记录指令遵循成功率、物体识别准确率、操作成功率、零样本/少样本性能等指标,多次运行取平均值和标准差