Scene Graph Generation Benchmark for Robotics是机器人场景图生成领域的标准化评测基准,用于评估和比较不同场景图生成算法在机器人任务中的性能。该基准提供了多种机器人场景图生成测试场景,包括2D场景图生成(从单张/多张图像中生成物体-关系-物体场景图,包括目标检测/关系预测/属性识别)、3D场景图生成(从点云/深度图/多视角图像中生成3D场景图,包括3D目标检测/6D姿态/3D空间关系)、动态场景图生成(从视频序列中生成时序场景图,包括物体跟踪/时序关系/运动建模/场景图更新)、场景图应用评测(场景图引导的视觉问答/导航/操作规划/人机交互/记忆推理)、大规模场景图构建(大规模室内/室外环境的场景图构建/增量更新/长期记忆)等,支持多种场景图生成方法和多种机器人平台(工业机器人/服务机器人/人形机器人/自动驾驶)。Scene Graph Generation Benchmark for Robotics支持多种评估指标,包括场景图生成性能(场景图召回率Recall@K/平均召回率mR@K/关系预测准确率/属性识别准确率)、3D场景图性能(3D检测mAP/姿态误差/3D关系准确率/场景图完整性)、动态场景图性能(时序一致性/跟踪准确率/场景图更新延迟/动态关系准确率)、应用性能(场景图引导VQA准确率/导航成功率/操作成功率/推理准确率)、效率性能(生成延迟/吞吐量/内存占用/可扩展性)等,提供了标准化的评估协议和多个公开数据集(Visual Genome/OpenImages/ScanNet/3DSSG/ActivityNet等)。该基准推动了机器人场景图生成技术的发展,多种经典和最新的场景图生成算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、自动驾驶、人形机器人、家庭助手等领域的场景理解系统研究和开发中,是机器人场景图生成算法评估的标准基准之一。
Scene Graph Generation Benchmark for Robotics
Scene Graph Generation Benchmark for Robotics是机器人场景图生成领域的标准化评测基准,用于评估和比较不同场景图生成算法在机器人任务中的性能。该基准提供了多种机器人场景图生成测试场景,包括2D场景图生成(从单张/多张图像中生成物体-关系-物体场景图,包括目标检测/关系预测/属性识别)、3D场景图生成(从点云/深度图/多视角图像中生成3D场景图,包括3D目标检测/6D姿态/3D空间关系)、动态场景图生成(从视频序列中生成时序场景图,包括物体跟踪/时序关系/运动建模/场景图更新)、场景图应用评测(场景图引导的视觉问答/导航/操作规划/人机交互/记忆推理)、大规模场景图构建(大规模室内/室外环境的场景图构建/增量更新/长期记忆)等,支持多种场景图生成方法和多种机器人平台(工业机器人/服务机器人/人形机器人/自动驾驶)。Scene Graph Generation Benchmark for Robotics支持多种评估指标,包括场景图生成性能(场景图召回率Recall@K/平均召回率mR@K/关系预测准确率/属性识别准确率)、3D场景图性能(3D检测mAP/姿态误差/3D关系准确率/场景图完整性)、动态场景图性能(时序一致性/跟踪准确率/场景图更新延迟/动态关系准确率)、应用性能(场景图引导VQA准确率/导航成功率/操作成功率/推理准确率)、效率性能(生成延迟/吞吐量/内存占用/可扩展性)等,提供了标准化的评估协议和多个公开数据集(Visual Genome/OpenImages/ScanNet/3DSSG/ActivityNet等)。该基准推动了机器人场景图生成技术的发展,多种经典和最新的场景图生成算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、自动驾驶、人形机器人、家庭助手等领域的场景理解系统研究和开发中,是机器人场景图生成算法评估的标准基准之一。
测试方法与条件
多种机器人场景图生成测试场景,多种场景图生成方法和机器人平台,标准化评估协议,多个公开数据集,多维度性能指标