产品评测

评测库

拆解、方案分析、实测资料和关键指标集中沉淀,方便按产品与技术路线继续追下去。
数据集评测
HandEdit 灵巧手图像编辑数据集评测基准
因时机器人、上海交通大学、复旦大学

HandEdit是由因时机器人、上海交通大学和复旦大学联合发布的灵巧手图像编辑数据集与评测基准,专注于第一视角人类到机器人灵巧手的图像编辑任务。该任务在尽量保留原始场景、物体、视角和交互内容的前提下,将画面中的人手或手臂替换为指定的机器人构型。HandEdit提供配对数据、统一评测协议和开源工具,供相关方法训练与比较使用,为机器人灵巧手操作的数据生成和领域迁移研究提供了重要基准。

第一视角人手到机器人灵巧手图像编辑,配对数据评估,统一评测协议

基准测试
RoboSynChallenge: 合成操作技能泛化基准测试
RoboSynChallenge研究团队

RoboSynChallenge是统一的机器人操作策略泛化能力基准测试,arXiv:2608.12416,2026年9月更新。该竞赛引入统一基准,评估和推进操作策略在不同任务、环境和难度级别上的泛化能力。为缓解真实数据不足问题,该挑战集成大规模合成数据生成与标准化真实机器人评估,参与者被鼓励利用合成状态-动作试验来改进通用策略学习,而最终评估仅在未见的真实世界操作环境中进行。基准提供Transformer、Diffusion、Vision-Language等多种基线实现。

大规模合成数据生成+标准化真实机器人评估,多种任务/环境/难度级别,最终评估在未见真实环境

基准测试
ManiGuard: 机器人操作安全规范基准测试
ManiGuard Team

ManiGuard是一个规范grounding的机器人操作安全评估框架,包含ManiGuard-Bench任务套件和配对的安全标注轨迹生成流水线。ManiGuard-Bench将6个接触丰富的家庭任务族组织为200个锁定基础任务,沿技能×约束分类体系排列,安全规范独立于任务成功定义:成功不意味着安全。每个任务在多种安全约束下评估,包括力限制、速度限制和物体保护约束。该基准揭示了当前VLA模型在安全性与任务成功率之间的显著差距,适用于机器人操作安全评估、安全对齐和风险感知策略学习。

在200个家庭操作任务中评估基础模型策略的任务成功率和安全违反率,安全规范独立定义

任务成功率安全违反率力超限次数物体损坏率
数据集评测
SoftVTBench: 可变形物体操作视觉触觉数据集与基准测试
SoftVTBench Team

SoftVTBench是一个物理交互感知的可变形物体操作视觉触觉数据集和基准测试,包含4000个专家演示和50多个资产,包括体积可变形物体和视觉匹配的刚性对应物。每个回合以20Hz同步采集多视角RGB、双指触觉RGB和标记运动、本体感受、语言以及二值和连续夹爪动作,同时提供仅评估者可用的有限元分析(FEM)数据。该基准旨在推动可变形物体操作中的视觉触觉融合研究,适用于软体操作、布料折叠、绳索操控和接触丰富操作策略的评估。

在仿真和真实环境中评估VLA和操作策略在可变形物体上的表现,使用FEM ground truth作为物理正确性评估指标

任务成功率触觉预测精度FEM物理一致性误差动作平滑度
基准测试
IMBench: 直觉性机器人操作基准测试
IMBench研究团队

IMBench是评估直觉性机器人操作的基准测试,arXiv:2607.15641,将操作视为感知、物理推理、动作生成和迭代执行的综合能力。该基准包含35个任务、14K条筛选轨迹和可扩展的多样化场景生成工具,任务要求模型推断任务相关的物理结构并在显式约束下生成可行的动作序列,包括接触丰富的操作、工具使用和多阶段依赖。实验揭示了视觉语言模型在直觉性操作方面的持续差距,为机器人操作能力的评估提供了新的维度。

35个任务,14K条筛选轨迹,评估物理结构推断、约束下动作生成、接触丰富操作、工具使用、多阶段依赖

基准测试
RoboDojo: 通用机器人操作策略仿真与真实统一基准测试
RoboDojo研究团队

RoboDojo是面向通用机器人操作策略的仿真与真实统一基准测试,arXiv:2607.04434。该基准包含42个仿真任务和18个真实世界任务,旨在覆盖多样化、挑战性和互补的操作能力。仿真基准评估五个能力维度:泛化能力、记忆能力、精度、长时序执行和开放词汇指令跟随;真实世界基准则将策略暴露于挑战性的物理世界部署环境。RoboDojo为通用机器人操作策略的全面评估提供了统一的评测框架。

42个仿真任务+18个真实世界任务,评估泛化、记忆、精度、长时序、开放词汇五个维度

基准测试
ThorArena: Benchmarking Humanoid Physical Interaction with Human Motion-Force Demonstrations
arXiv研究团队

ThorArena是2026年7月发布的人形机器人物理交互基准测试,专注于评估人形机器人在力感知物理交互任务中的表现。该基准收集了6种代表性物理交互任务的真实人类演示数据,同时捕捉全身运动轨迹和双手施加的力信号。基于这些演示,ThorArena提出了力感知评估指标(FATS),综合评估全身跟踪精度、不同力水平下的鲁棒性、控制努力和任务存活率。该基准适用于人形机器人全身控制、物理交互策略学习和人机协作研究,为力感知型人形机器人的开发提供了标准化评测平台。

基于人类运动-力同步演示,在6种物理交互任务上评估人形机器人的力感知控制性能

基准测试
RoboDojo: Unified Sim-and-Real Benchmark for Generalist Robot Manipulation
RoboDojo研究团队

RoboDojo是2026年发布的融合仿真与真实环境的统一型机器人操作基准测试平台,旨在对通用型机器人操作策略进行全方位评估。包含42个仿真任务和18个真实世界任务,全面覆盖多样且互补的机器人操作能力。仿真基准从泛化能力、记忆能力、操作精度、长时程任务执行能力和开放词汇指令理解五个维度评估策略性能,真实世界基准则暴露策略在物理世界部署中的挑战。适用于VLA模型、模仿学习和强化学习策略的综合性能评估。

仿真42任务+真实18任务五维度评估

基准测试
Benchmarking Vision-Language-Action Models on SO-101: Failure and Recovery Analysis
arXiv研究团队

该评测针对SO-101操作基准上的主流VLA模型进行了系统性的失败模式与恢复能力分析。SO-101包含101种日常操作任务,覆盖抓取、放置、开合、工具使用等多种操作类型。评测对RT-2、pi0、CogACT等多个VLA模型在SO-101上的表现进行了详细拆解,分析了不同失败类型(感知错误、规划错误、执行错误)的分布,并评估了模型在失败后的自我恢复能力。评测结果为VLA模型的改进方向提供了数据驱动的指导,适用于VLA模型性能评估和操作策略研究。

在SO-101基准的101个操作任务上对多个VLA模型进行标准化测试,记录成功率、失败类型和恢复行为

成本与供应链拆解
宇树 G1 人形机器人深度拆解:8.5万起售背后的技术取舍与供应链
具身智能资料库 8 个关联对象

宇树科技(Unitree)的 G1 机器人是目前全球出货量领先的量产人形机器人。本文基于中邮证券的拆解报告,详细分析其成本构成与核心零部件。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

基础版售价: 8.5 万元整机 BOM 预估: 约 4.16 万元关节数量: 基础版 23 个,EDU 版最高 43 个身高: 1.32m
硬件拆解
波士顿动力电动 Atlas 深度拆解:从“网红”到工业“打工人”的全面进化
具身智能资料库 5 个关联对象

波士顿动力(Boston Dynamics)的新一代全电动 Atlas 机器人标志着人形机器人从实验室研究迈向工业大规模应用的关键转折。本文深度解析其硬件设计、模块化架构及核心技术。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

协作安全间隙: 约 25.4 毫米执行器性能描述: 文中称为市售产品 2 到 5 倍热阻改善: 文中称热阻降低 60% 以上头部抗冲击: 文中称可承受 2 米跌落冲击
技术架构分析
傅利叶 GR-1 通用人形机器人:具身智能的理想载体
具身智能资料库 7 个关联对象

傅利叶智能(Fourier Intelligence)发布的 GR-1 是国内领先的可商业化人形机器人。它从康复机器人技术积累中演进而来,展现了强大的运动性能。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

身高: 1.65 米重量: 55 公斤自由度: 40 个峰值扭矩: 300 N·m
物流机器人方案分析
Agility Robotics Digit:为物流而生的“反向关节”机器人
具身智能资料库 5 个关联对象

Digit 是由 Agility Robotics 开发的一款独特的人形机器人,其标志性的“反向关节”设计使其在处理物流搬运任务时具备天然优势。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

搬运负载描述: 文中称可处理 16 公斤左右货箱补能方式: 支持快速更换电池测试场景: 亚马逊物流中心
人形机器人方案分析
Figure 01/02:开启人形机器人“端到端”AI 时代
具身智能资料库 6 个关联对象

Figure AI 公司的机器人以其极高的完成度和与 OpenAI 深度合作的 AI 大脑而闻名。Figure 02 更是被誉为目前最接近人类交互体验的具身智能实体。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

连续工作时间: 文中称 5 小时以上摄像头: 6 个高分辨率摄像头工厂合作: 宝马斯帕坦堡工厂实训
工业应用分析
优必选 Walker S:进厂“打工”的工业级人形机器人
具身智能资料库 8 个关联对象

优必选(UBTECH)推出的 Walker S 是专门针对汽车制造等工业场景设计的工业版人形机器人。目前已在极氪(Zeekr)等智慧工厂开启实训。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

高性能伺服关节: 41 个身高: 1.7 米工业任务: 质量检查、油液添加、物料搬运
硬件方案分析
特斯拉 Optimus Gen 2:纯视觉方案下的具身智能标杆
具身智能资料库 7 个关联对象

特斯拉(Tesla)的 Optimus Gen 2 展现了极致的硬件集成和算法迁移能力。其设计目标是利用 FSD(Full Self-Driving)的视觉技术实现通用机器人。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

执行器: 28 个结构执行器,14 个线性执行器和 14 个旋转执行器灵巧手自由度: 11 个电池组: 2.3 kWh,52V静坐功耗: 约 100W
硬件框架分析
具身智能机器人硬件板块深度拆解:五大核心系统解析
具身智能资料库 15 个关联对象

具身智能(Embodied AI)机器人是一个复杂的系统工程,其硬件架构通常可划分为五大核心板块。本文深度拆解这些系统的组成及其技术关键。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

消费级陪伴机器人拆解
enabot EBO SE 智能陪伴机器人深度拆解:小巧身躯里的具身智能
具身智能资料库 10 个关联对象

enabot 赋之科技推出的 EBO SE 是一款主打家庭陪伴的移动机器人。虽然体型小巧,但其集成了完整的感知、移动和远程交互系统,是具身智能在消费电子领域的典型应用。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

机身直径: 约 95mm摄像头: 1080P红外接收头: 5 颗电池容量: 2500mAh
技术方案分析
智元机器人“远征 A1”:稚晖君团队的具身智能力作
具身智能资料库 10 个关联对象

智元机器人(Agibot)发布的“远征 A1”是国内具身智能领域的明星产品。该机器人不仅在硬件上追求极致,更在软件架构上实现了深度创新。

基于公开资料、拆解文章、厂商资料和行业报告的结构化资料评测整理。

关节峰值扭矩: 350 N·m灵巧手主动自由度: 12 个灵巧手成本描述: 文中称压降至万元以下
基准测试
UMI-Bench 1.0 桌面机器人操作真实世界基准测试
UMI-Bench研究团队

UMI-Bench 1.0是开放且可复现的真实世界桌面机器人操作基准测试,使用UMI(Universal Manipulation Interface)数据进行评估。该基准解决了学习型操作策略在策展演示之外能否可靠运行的评估需求,提供标准化的任务定义、评估协议和指标体系,涵盖多种桌面操作场景。UMI-Bench 1.0为机器人操作策略的真实世界评估提供了可复现的标准平台,支持不同算法和模型的公平比较。

真实世界桌面机器人操作评估,标准化任务定义和评估协议

解决方案资料
教育解决方案
加速进化 2 个关联对象

教育方案页将课程拆成探索启蒙、基础构建、应用工程和科研创新,并提供图形化编程、仿真平台、教学资源包、教师支持与实验室等模块。

厂商公开方案页整理

解决方案资料
RoboCup 解决方案
加速进化 2 个关联对象

RoboCup 方案页称 T1 与 K1 分别用于 AdultSize 和 KidSize 场景,并与 Booster Gym、RoboCup Demo、Booster Train、Booster Deploy、Booster Assets 形成算法训练与部署链路。

厂商公开方案页整理

基准测试
RobotEQ: 具身AI主动智能基准测试
RobotEQ研究团队

RobotEQ是首个面向主动智能的具身AI基准测试,arXiv:2605.06234,2026年8月更新。该基准旨在评估现有模型是否能够在具身场景中理解和遵守社会规范。RobotEQ构建了包含1900张第一人称视角图像的数据集,涵盖10个代表性具身类别和56个子类别。通过广泛人工标注,提供5353个动作判断问题和1286个空间接地问题,指定适当的机器人行为。该基准揭示了当前模型在具身场景中社会规范理解方面的不足,为具身AI从被动智能向主动智能发展提供了重要评测工具。

1900张第一人称图像,10类别56子类别,5353动作判断问题+1286空间接地问题,评估社会规范理解

基准测试
ManipArena: 真实机器人操作泛化能力诊断基准测试
ManipArena研究团队

ManipArena是标准化的真实机器人评估框架,用于研究匹配物理条件下的操作泛化能力,arXiv:2603.28545。该基准包含20个任务、10812条专家轨迹、1350万帧和约188机器人小时,覆盖桌面和移动操作。框架结合了模式定义的任务变化、分层的域内/视觉偏移/语义OOD测试、子任务级部分信用评分和三级评估协议,为真实机器人操作泛化能力的诊断提供了严谨的评测体系。

20个任务,10812条专家轨迹,域内/视觉偏移/语义OOD三级评估,子任务级部分信用评分

基准测试
RoCo Challenge AAAI 2026: Robotic Collaborative Manipulation Benchmark
AAAI 2026 RoCo Challenge组委会

RoCo Challenge是AAAI 2026举办的机器人协作操作装配基准测试竞赛,面向工业自动化场景。竞赛分为仿真赛道和真实世界赛道,评估机器人在协作装配任务中的感知、规划和执行能力。结果显示模块化感知-动作流水线在仿真中表现良好,但VLA模型在物理世界中成为明显赢家,其处理传感器噪声和执行错误恢复的能力表明端到端学习结合物理先验是可部署工业智能体的最有前景路径。适用于工业机器人协作装配算法评估和技术路线对比。

仿真赛道+真实世界赛道双轨评估

基准测试
RoCo Challenge: 机器人协作装配操作基准测试
AAAI 2026 RoCo Challenge Organizers

RoCo Challenge是AAAI 2026上举办的机器人协作装配操作挑战赛,旨在基准测试和推进面向工业自动化的机器人协作装配能力。以高精度行星齿轮箱装配任务为背景,基于自研Isaac Sim数据采集训练评估系统构建,使用Galaxea R1 Lite双臂机器人进行真实世界部署验证,涵盖仿真到真实的全流程评估,是工业装配操作领域的重要基准测试。

仿真+真实双臂机器人装配任务评估

基准测试
MolmoSpaces-Bench 通用机器人策略基准测试
MolmoSpaces研究团队

MolmoSpaces-Bench是MolmoSpaces开放生态系统中的基准测试套件,涵盖基础技能和LLM辅助的长时序任务,具有可控的难度和扰动设置,支持对通用机器人策略进行详细分析和原则性比较。该基准通过大规模仿真环境、多样化对象资产和广泛的抓取数据集,验证了强sim-to-real相关性,并对多种最先进方法进行了基准测试,为通用机器人策略的评估提供了全面的标准平台。

大规模仿真环境评估,基础技能+LLM辅助长时序任务,可控难度和扰动

数据集评测
UniACT 机器人操作数据集评测
ABot-M0研究团队

UniACT数据集是ABot-M0研究中构建的大规模机器人操作数据集,融合六个主要开源数据集,形成超过600万条轨迹、9500+小时、20+种具身形态的混合训练集,是目前非私有领域最大的机器人操作数据集合。该评测通过统一动作格式和数据处理流程,解决了不同数据集之间动作格式不一致的问题,为VLA基础模型的训练和评估提供了标准化的数据基础。评测涵盖多种机器人操作任务,包括抓取、放置、插入等,支持跨具身形态的泛化能力评估。

多数据集融合,统一动作格式,跨具身形态评估

基准测试
TERM-Bench: Trustworthy Evaluation Benchmark for Robotic Manipulation
TERM-Bench研究团队

TERM-Bench是2026年发布的可信机器人操作评估基准,提出AutoEval自动评估方法解决机器人策略评估中的可信度问题。AutoEval在EG和RG协议下分别达到0.81和0.84的Spearman秩相关系数,具备强大的来源判别能力,能以99.6%准确率区分策略生成和遥操作视频,建立了严格的可信机器人评估标准。项目主页term-bench,适用于机器人操作算法的公平可信评估、策略生成内容鉴别和评估方法论研究。

AutoEval自动评估+EG/RG双协议验证

基准测试
NVIDIA Isaac Lab-Arena 通用机器人策略仿真基准测试
NVIDIA & Lightwheel

NVIDIA Isaac Lab-Arena是与Lightwheel联合开发的开源框架,作为NVIDIA Isaac Lab的扩展,用于在仿真中进行可扩展的机器人策略评估。该框架采用模块化的乐高式架构,从独立的Object、Scene、Embodiment和Task块即时编译环境,通过标准化的Affordances使任务能够跨多样化对象扩展。GPU加速的数千个同质环境并行评估将基准测试时间缩短至0.76小时,为通用机器人策略的评估提供了高效、可复现的标准测试平台。

GPU加速并行仿真评估,模块化环境编译,标准化Affordance任务定义

基准测试
Tool Use Benchmark for Robotics
机器人工具使用研究社区

Tool Use Benchmark for Robotics是机器人工具使用领域的标准评测基准,涵盖工具识别、工具选择、工具操作、工具创新等核心任务。基准提供家庭服务、工业制造、医疗机器人等多种任务的数据集,支持ToolFlow、Affordance、RT-2、OpenVLA、ToolLLM等多种算法对比,集成不同工具类型和不同任务场景的实验设置。基准评测指标包括工具使用成功率、工具识别准确率、工具创新能力、泛化能力、样本效率,支持不同工具类型、不同任务场景、不同任务难度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人工具使用研究的标准评测平台。

工具使用实验,评估不同算法的工具使用成功率和工具识别准确率

基准测试
RobotArena∞: 真实到仿真转换的可扩展机器人基准测试
RobotArena∞研究团队(ICLR 2026)

RobotArena∞是ICLR 2026收录的可扩展机器人基准测试框架,通过自动化真实到仿真转换和在线人类偏好反馈来扩展机器人评估。该框架结合视觉语言模型、2D到3D生成模型和可微渲染的进展,能够直接从真实世界视频自动构建仿真环境。RobotArena∞在数百个环境和超过8500个人类偏好判断中评估了多个VLA模型,证明了该框架在大规模机器人策略评估中的有效性。该基准为机器人学习提供了可扩展、低成本、高保真的评估方法,解决了传统基准测试环境数量有限和构建成本高的问题。

自动化真实到仿真转换,VLM+2D到3D生成模型+可微渲染,数百个环境,8500+人类偏好判断

基准测试
Long-Horizon Task Planning Benchmark for Robotics
机器人长程任务规划研究社区

Long-Horizon Task Planning Benchmark for Robotics是机器人长程任务规划领域的标准评测基准,涵盖任务分解、子目标生成、状态抽象、错误恢复等核心任务。基准提供家庭服务、工业制造、仓储物流等多种任务的数据集,支持PDDL、LLM-Planner、SayCan、Code as Policies、TAMP等多种算法对比,集成不同任务长度和不同状态空间的实验设置。基准评测指标包括任务完成率、规划效率、错误恢复能力、泛化能力、计算效率,支持不同任务长度、不同状态空间、不同任务难度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人长程任务规划研究的标准评测平台。

长程任务规划实验,评估不同算法的任务完成率和规划效率

基准测试
Open-Vocabulary Manipulation Benchmark for Robotics
机器人开放词汇操作研究社区

Open-Vocabulary Manipulation Benchmark for Robotics是机器人开放词汇操作领域的标准评测基准,涵盖开放词汇识别、语义理解、操作规划、泛化能力等核心任务。基准提供家庭服务、工业制造、仓储物流等多种任务的数据集,支持CLIPort、PerAct、RT-1、OpenVLA、Octo等多种算法对比,集成不同词汇量和不同物体类别的实验设置。基准评测指标包括操作成功率、开放词汇识别准确率、泛化能力、样本效率、计算效率,支持不同词汇量、不同物体类别、不同任务难度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人开放词汇操作研究的标准评测平台。

开放词汇操作实验,评估不同算法的操作成功率和开放词汇识别准确率

基准测试
Vision-Language Navigation Benchmark for Robotics
机器人视觉语言导航研究社区

Vision-Language Navigation Benchmark for Robotics是机器人视觉语言导航领域的标准评测基准,涵盖语言理解、视觉感知、路径规划、环境交互等核心任务。基准提供室内导航、室外导航、人机交互等多种任务的数据集,支持VLN-BERT、VLN-CE、EnvDrop、HAMT、DUET等多种算法对比,集成不同语言指令和不同环境的实验设置。基准评测指标包括导航成功率、路径长度、路径效率、语言理解准确率、泛化能力,支持不同环境、不同指令长度、不同任务难度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人视觉语言导航研究的标准评测平台。

视觉语言导航实验,评估不同算法的导航成功率和路径效率

基准测试
Meta-Imitation Learning Benchmark for Robotics
机器人元模仿学习研究社区

Meta-Imitation Learning Benchmark for Robotics是机器人元模仿学习领域的标准评测基准,涵盖少样本学习、快速适应、任务分布、元训练策略等核心任务。基准提供机器人操作、导航、运动控制等多种任务的少样本数据集,支持MAML-IL、ProtoNet-IL、RelationNet-IL、Meta-SGD、Reptile等多种算法对比,集成不同任务数量和不同样本数量的实验设置。基准评测指标包括少样本性能、适应速度、元训练效率、泛化能力、计算效率,支持不同任务数量、不同样本数量、不同任务分布的实验设置。基准由多所高校和研究机构联合维护,已成为机器人元模仿学习研究的标准评测平台。

元模仿学习实验,评估不同算法的少样本性能和适应速度

基准测试
Learning from Observation Benchmark for Robotics
机器人从观察中学习研究社区

Learning from Observation Benchmark for Robotics是机器人从观察中学习领域的标准评测基准,涵盖动作恢复、视角不变性、物体状态估计、跨形态迁移等核心任务。基准提供机器人操作、导航、运动控制等多种任务的观察数据集,支持BC-Obs、IRL-Obs、GAIL-Obs、VMP、Cross-Embodiment等多种算法对比,集成不同视角和不同实体的实验设置。基准评测指标包括策略性能、动作恢复精度、视角不变性、跨形态迁移能力、样本效率,支持不同任务、不同视角、不同实体形态的实验设置。基准由多所高校和研究机构联合维护,已成为机器人从观察中学习研究的标准评测平台。

从观察中学习实验,评估不同算法的策略性能和动作恢复精度

基准测试
Adversarial Imitation Learning Benchmark for Robotics
机器人对抗模仿学习研究社区

Adversarial Imitation Learning Benchmark for Robotics是机器人对抗模仿学习领域的标准评测基准,涵盖奖励函数学习、策略优化、模式坍塌、样本效率等核心任务。基准提供机器人操作、导航、运动控制等多种任务的专家演示数据集,支持GAIL、AIRL、WGAIL、VGAIL、Multi-Agent GAIL等多种算法对比,集成不同训练配置和超参数的实验设置。基准评测指标包括策略性能、专家匹配度、训练稳定性、模式坍塌率、样本效率,支持不同任务、不同专家数量、不同训练配置的实验设置。基准由多所高校和研究机构联合维护,已成为机器人对抗模仿学习研究的标准评测平台。

对抗模仿学习实验,评估不同算法的策略性能和训练稳定性

基准测试
Robot Teleoperation Benchmark
机器人遥操作研究社区

Robot Teleoperation Benchmark是机器人遥操作研究社区维护的标准化评测基准,用于公平比较不同遥操作方法在各类任务和场景中的性能。基准涵盖基于主从控制、基于共享自主性、基于力反馈、基于虚拟现实、基于学习等多种遥操作方法,以及危险环境作业、医疗手术、空间探索、深海作业、远程服务等多种应用场景。基准提供了统一的仿真环境、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和主端设备。

在统一的仿真环境和任务设置下运行各遥操作方法,记录任务完成时间、操作精度、力反馈保真度等指标,多次运行取平均值和标准差

基准测试
人形机器人运动控制sim2real基准测试(Booster T1)
Booster Robotics研究团队

该基准测试基于Booster Gym框架,在Booster T1人形机器人上验证了端到端强化学习策略的sim2real迁移能力。测试涵盖全向行走、抗干扰能力和地形适应性等核心运动能力指标,通过仿真训练与真实部署的对比评估,验证了训练策略能够无缝迁移到物理平台。该基准为人形机器人运动控制研究提供了标准化的评估方法和可复现的实验结果,适用于评估不同强化学习算法在人形机器人上的实际表现。

仿真训练+真实机器人部署验证,全向行走/抗干扰/地形适应测试

基准测试
Multi-Teacher Distillation Benchmark for Robotics
国际机器人学习研究社区

Multi-Teacher Distillation Benchmark for Robotics是一个面向机器人多教师蒸馏的基准测试,系统评估基于教师集成的多教师蒸馏、基于教师选择的多教师蒸馏、基于教师加权的多教师蒸馏、基于教师专业化的多教师蒸馏、基于教师协作的多教师蒸馏等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同多教师蒸馏方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人多教师蒸馏方法,来源机构为国际机器人学习研究社区。

在统一的机器人学习任务上,对比不同多教师蒸馏方法在多种机器人场景中的表现

基准测试
Inverse Reinforcement Learning Benchmark for Robotics
机器人逆强化学习研究社区

Inverse Reinforcement Learning Benchmark for Robotics是机器人逆强化学习领域的标准评测基准,涵盖奖励函数学习、专家演示利用、多任务逆强化学习、可解释性等核心任务。基准提供机器人操作、导航、自动驾驶等多种任务的专家演示数据集,支持MaxEnt-IRL、Bayesian-IRL、Guided-IRL、AIRL、SCIRL等多种算法对比,集成不同演示质量和演示数量的实验设置。基准评测指标包括奖励恢复精度、策略性能、样本效率、计算效率、可解释性,支持不同任务、不同演示数量、不同演示质量的实验设置。基准由多所高校和研究机构联合维护,已成为机器人逆强化学习研究的标准评测平台。

逆强化学习实验,评估不同算法的奖励恢复精度和策略性能

基准测试
Human-Robot Collaboration Benchmark
人机协作研究社区

Human-Robot Collaboration Benchmark是人机协作研究社区维护的标准化评测基准,用于公平比较不同协作算法在各类任务和场景中的性能。基准涵盖基于安全、基于意图识别、基于任务分配、基于学习、基于交互等多种协作方法,以及工业装配、医疗康复、服务机器人、教育娱乐等多种应用场景。基准提供了统一的仿真环境、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和交互方式。

在统一的仿真环境和任务设置下运行各协作算法,记录任务完成时间、协作效率、人类满意度等指标,多次运行取平均值和标准差

基准测试
RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation
RoboCerebra团队

RoboCerebra是面向长时序机器人操作高级推理的大规模评测基准,arXiv:2506.06677。包含大规模仿真数据集,具有扩展任务视野和家庭环境中多样的子任务序列。提出结合高层VLM规划器和低层VLA控制器的分层框架,以及针对规划、反思和记忆的结构化评测协议。为评估长时序机器人操作中的高级推理能力提供了标准化基准。

大规模仿真长时序任务,分层VLM+VLA框架评估

基准测试
RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation
RoboWM-Bench团队

RoboWM-Bench是面向机器人操作的世界模型评测基准,将人类和机器人操作视频中的行为转换为具身动作并通过执行验证。覆盖多样化操作场景,建立统一可复现的评测协议。评估表明当前最先进的视频世界模型在生成物理可执行行为方面仍存在挑战,在空间推理、接触稳定性和物理真实性方面存在失败。

操作视频行为转换为具身动作并执行验证

基准测试
Digital Twin Benchmark for Robotics
机器人数字孪生研究社区

Digital Twin Benchmark for Robotics是机器人数字孪生研究社区维护的标准化评测基准,用于公平比较不同数字孪生方法在各类机器人和应用中的性能。基准涵盖基于几何模型、基于物理模型、基于数据驱动、基于混合模型、基于实时同步等多种数字孪生方法,以及仿真验证、预测性维护、远程监控、优化控制等多种应用场景。基准提供了统一的数据集、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和仿真环境。

在统一的数据集和应用场景下运行各数字孪生方法,记录建模精度、同步延迟、预测精度等指标,多次运行取平均值和标准差

数据集评测
RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
RoboMIND团队

RoboMIND是多本体智能规范数据机器人操作评测基准,arXiv:2412.13877。提供跨多种机器人本体的标准化操作数据集和评测协议,验证了仿真与真实测试结果的正相关性。覆盖多种机械臂本体和操作任务,为多本体机器人操作策略的公平比较提供了标准化平台。

多本体标准化操作任务评测,仿真-真机相关性验证

基准测试
OpenManip: Benchmark for Rigid and Articulated 6-DoF Manipulation
Dartmouth Robotics实验室

OpenManip是2025年ICRA发布的桌面开放指令操作基准测试套件,覆盖刚体和铰接物体操作。数据集包含超过200个刚体和150个铰接物体,超过2000个任务,分为刚体、铰接物体和组合三个赛道,测试智能体在仿真和真实环境中预测物体位置和旋转的能力。对多个代表性模型进行了基准测试,揭示当前方法在铰接物体操作和长时程任务上的不足。适用于6自由度机械臂操作算法评估、开放词汇指令理解和物体操作泛化能力研究。

刚体+铰接物体+组合三赛道评估,仿真+真实

基准测试
Policy Distillation Benchmark for Robotics
国际机器人学习研究社区

Policy Distillation Benchmark for Robotics是一个面向机器人策略蒸馏的基准测试,系统评估基于动作模仿的策略蒸馏、基于分布匹配的策略蒸馏、基于价值函数匹配的策略蒸馏、基于特征匹配的策略蒸馏、基于多任务策略蒸馏等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同策略蒸馏方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人策略蒸馏方法,来源机构为国际机器人学习研究社区。

在统一的机器人学习任务上,对比不同策略蒸馏方法在多种机器人场景中的表现

基准测试
Explainable Robotics Benchmark
可解释机器人研究社区

Explainable Robotics Benchmark是可解释机器人研究社区维护的标准化评测基准,用于公平比较不同可解释方法在各类机器人任务中的性能。基准涵盖基于模型、基于规则、基于可视化、基于事后解释、基于内在可解释等多种可解释方法,以及感知、规划、控制、决策、人机交互等多种机器人任务。基准提供了统一的数据集、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和模型架构。

在统一的数据集和任务设置下运行各可解释方法,记录解释保真度、解释复杂度、人类理解度等指标,多次运行取平均值和标准差

基准测试
Safe Reinforcement Learning Benchmark for Robotics
机器人安全强化学习研究社区

Safe Reinforcement Learning Benchmark for Robotics是机器人安全强化学习领域的标准评测基准,涵盖约束马尔可夫决策过程、安全屏蔽、风险敏感学习、鲁棒强化学习、安全探索等核心任务。基准提供机器人自动驾驶、工业机器人、医疗机器人、人机协作等安全关键场景的数据集,支持CPO、PPO-Lagrangian、安全屏蔽、Distributional RL、Robust RL等多种算法对比,集成不同安全约束和风险水平的实验设置。基准评测指标包括安全违规率、任务性能、约束满足率、风险度量、样本效率,支持不同安全约束、不同风险水平、不同扰动强度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人安全强化学习研究的标准评测平台。

安全强化学习实验,评估不同算法在安全关键场景的安全违规率和任务性能

基准测试
OpenManip: 刚性与铰接物体6-DoF操作基准测试
Dartmouth Robotics Lab

OpenManip是ICRA 2025 Robots in the Wild研讨会发表的综合性操作基准测试,专注桌面场景下刚性和铰接物体的6自由度操作。包含200+刚性物体和150+铰接物体,设计2000+任务,涵盖刚体操作、铰接物体操作和组合操作三个赛道,测试智能体在仿真和真实环境中预测物体位置和旋转的能力,揭示了当前操作策略在铰接物体和组合任务上的显著不足。

桌面6-DoF操作任务评估含仿真与真实世界

基准测试
Robot Safety Benchmark
机器人安全研究社区

Robot Safety Benchmark是机器人安全研究社区维护的标准化评测基准,用于公平比较不同安全算法在各类机器人和场景中的性能。基准涵盖基于硬件、基于控制、基于规划、基于感知、基于学习等多种安全方法,以及工业协作、服务机器人、自动驾驶、医疗机器人等多种应用场景。基准提供了统一的仿真环境、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和安全标准。

在统一的仿真环境和场景设置下运行各安全算法,记录安全距离、碰撞率、响应时间等指标,多次运行取平均值和标准差

基准测试
Structured Light Benchmark for Robotics
机器人学与光学工程研究社区

Structured Light Benchmark for Robotics是机器人结构光三维感知领域的权威基准测试,为结构光算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器人学和光学工程交叉领域的研究社区共同制定,涵盖了精密测量、工业检测、三维扫描、人脸识别等典型结构光应用场景。测试采用统一的数据集和评估协议,评估指标包括三维精度、重建质量、处理速度、环境光鲁棒性、计算效率等。该基准测试已成为机器人结构光研究领域的标准评估工具,被大量学术论文引用,适用于机器人结构光、三维感知、精密操作等领域的算法评估和比较。

标准化仿真测试+多场景评估+多指标量化

基准测试
State Estimation Benchmark for Robots
机器人状态估计研究社区

State Estimation Benchmark for Robots是机器人状态估计研究社区维护的标准化评测基准,用于公平比较不同状态估计算法在各类传感器配置和场景中的性能。基准涵盖基于滤波、基于优化、基于多传感器融合、基于学习、基于鲁棒估计等多种估计方法,以及室内定位、室外定位、自动驾驶、无人机、水下机器人等多种应用场景。基准提供了统一的传感器数据集、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种传感器配置和机器人平台。

在统一的传感器数据集和场景设置下运行各状态估计算法,记录定位精度、姿态估计误差等指标,多次运行取平均值和标准差

基准测试
Teacher-Student Learning Benchmark for Robotics
国际机器人学习研究社区

Teacher-Student Learning Benchmark for Robotics是一个面向机器人强化学习教师学生学习的基准测试,系统评估基于策略蒸馏的教师学生学习、基于价值函数蒸馏的教师学生学习、基于特征蒸馏的教师学生学习、基于多教师集成的教师学生学习、基于在线教师指导的教师学生学习等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同教师学生学习方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人强化学习教师学生学习方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同教师学生学习方法在多种机器人场景中的表现

基准测试
Electronic Skin Benchmark for Robotics
材料科学与机器人学研究社区

Electronic Skin Benchmark for Robotics是机器人电子皮肤领域的权威基准测试,为电子皮肤系统的性能评估提供标准化的测试场景和评价指标。该基准测试由材料科学和机器人学交叉领域的研究社区共同制定,涵盖了压力传感、温度传感、接近传感、多模态融合等典型电子皮肤应用场景。测试采用统一的测试平台和评估协议,评估指标包括空间分辨率、灵敏度、响应时间、柔性、 stretchability、耐久性等。该基准测试已成为机器人电子皮肤研究领域的标准评估工具,被大量学术论文引用,适用于机器人电子皮肤、触觉感知、人机交互等领域的系统评估和比较。

标准化测试平台+多场景评估+多指标量化

基准测试
Multi-Objective Reinforcement Learning Benchmark for Robotics
机器人多目标强化学习研究社区

Multi-Objective Reinforcement Learning Benchmark for Robotics是机器人多目标强化学习领域的标准评测基准,涵盖标量化方法、Pareto方法、约束方法、偏好学习、动态权重等核心任务。基准提供机器人路径规划、运动控制、任务调度、人机协作等多种任务的数据集,支持MOQ-Learning、Pareto-DQN、CMDP、偏好学习等多种算法对比,集成不同目标数量和目标冲突程度的实验设置。基准评测指标包括Pareto前沿质量、目标满足率、偏好符合度、样本效率、计算效率,支持不同目标数量、不同目标冲突程度、不同偏好类型的实验设置。基准由多所高校和研究机构联合维护,已成为机器人多目标强化学习研究的标准评测平台。

多目标强化学习实验,评估不同算法的Pareto前沿质量和目标满足率

基准测试
Robot Motion Control Benchmark
机器人运动控制研究社区

Robot Motion Control Benchmark是机器人运动控制与轨迹跟踪研究社区维护的标准化评测基准,用于公平比较不同运动控制算法在各类机器人和任务中的性能。基准涵盖基于模型、基于自适应、基于学习、基于优化、基于力控等多种控制方法,以及轨迹跟踪、扰动抑制、力控操作、多关节协调等多种应用任务。基准提供了统一的仿真环境、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和任务设置。

在统一的仿真环境和任务设置下运行各控制算法,记录轨迹跟踪误差、扰动抑制能力等指标,多次运行取平均值和标准差

基准测试
Reward Learning from Human Feedback Benchmark for Robotics
国际机器人学习研究社区

Reward Learning from Human Feedback Benchmark for Robotics是一个面向机器人从人类反馈中学习奖励的基准测试,系统评估基于偏好的奖励学习、基于排序的奖励学习、基于示范的奖励学习、基于自然语言的奖励学习、基于多模态反馈的奖励学习等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同反馈学习方法的估计精度、样本效率、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人从人类反馈中学习奖励方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同人类反馈奖励学习方法在多种机器人场景中的表现

基准测试
Stereo Vision Benchmark for Robotics
国际机器人学与计算机视觉研究社区

Stereo Vision Benchmark for Robotics是机器人立体视觉领域的权威基准测试,为立体视觉算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人学和计算机视觉研究社区共同制定,涵盖了室内环境、室外环境、工业场景、动态场景等典型立体视觉任务场景。测试采用统一的数据集和评估协议,评估指标包括匹配精度、深度误差、处理速度、鲁棒性、计算效率等。该基准测试已成为机器人立体视觉研究领域的标准评估工具,被大量学术论文引用,适用于机器人立体视觉、三维感知、自主导航等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Speech Synthesis Benchmark for Robotics
语音处理与机器人学研究社区

Speech Synthesis Benchmark for Robotics是机器人语音合成领域的权威基准测试,为语音合成算法的性能评估提供标准化的测试平台和评价体系。该基准测试由语音处理和机器人学交叉领域的研究社区共同制定,涵盖了标准文本、情感文本、多语言文本、长文本、实时合成等典型语音合成任务场景。测试采用统一的数据集和评估协议,评估指标包括自然度MOS值、相似度、情感准确率、实时因子、多语言支持等。该基准测试已成为机器人语音合成研究领域的标准评估工具,被大量学术论文引用,适用于机器人语音合成、语音交互、人机交互等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Robotic Grasping Benchmark
机器人抓取与操作研究社区

Robotic Grasping Benchmark是机器人抓取与操作研究社区维护的标准化评测基准,用于公平比较不同抓取算法在各类物体和场景中的性能。基准涵盖基于分析、基于数据、基于学习、基于仿真、基于触觉等多种抓取方法,以及工业装配、物流分拣、服务机器人、医疗机器人等多种应用场景。基准提供了统一的物体数据集、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和末端执行器。

在统一的物体数据集和场景设置下运行各抓取算法,记录抓取成功率、抓取精度等指标,多次运行取平均值和标准差

基准测试
Optimization-Based Planning Benchmark for Robotics
机器人学与运筹学研究社区

Optimization-Based Planning Benchmark for Robotics是机器人基于优化的规划领域的权威基准测试,为优化式运动规划算法的性能评估提供标准化的测试平台和评价指标。该基准测试由机器人学和运筹学交叉领域的研究社区共同制定,涵盖了机械臂操作、移动机器人导航、自动驾驶、人形机器人运动等典型基于优化的规划任务场景。测试采用统一的系统模型和评估协议,评估指标包括规划质量、优化时间、约束满足度、全局最优性、计算效率等。该基准测试已成为机器人基于优化的规划研究领域的标准评估工具,被大量学术论文引用,适用于机器人基于优化的规划、轨迹优化、自主系统等领域的算法评估和比较。

标准化仿真测试+多任务场景+多指标量化评估

基准测试
Hierarchical Reinforcement Learning Benchmark for Robotics
机器人分层强化学习研究社区

Hierarchical Reinforcement Learning Benchmark for Robotics是机器人分层强化学习领域的标准评测基准,涵盖选项框架、分层抽象、子目标生成、技能发现、任务分解等核心任务。基准提供机器人长程任务、复杂操作、多任务学习等多种任务的数据集,支持Options、HRL、HIRO、FeUdal、DIAYN等多种算法对比,集成不同任务长度和层级数量的实验设置。基准评测指标包括任务完成率、样本效率、技能可迁移性、层级可解释性、计算效率,支持不同任务长度、不同层级数量、不同技能数量的实验设置。基准由多所高校和研究机构联合维护,已成为机器人分层强化学习研究的标准评测平台。

分层强化学习实验,对比不同算法在长程任务上的性能和样本效率

基准测试
Curiosity-Driven Exploration Benchmark for Robotics
国际机器人学习研究社区

Curiosity-Driven Exploration Benchmark for Robotics是一个面向机器人好奇心驱动探索的基准测试,系统评估基于预测误差的好奇心、基于信息增益的好奇心、基于变分信息最大化的好奇心、基于状态新颖性的好奇心、基于目标新颖性的好奇心等方法在机器人操作、导航、运动控制、多任务学习等场景中的探索效果。基准测试使用统一的评估协议和仿真环境,对比不同好奇心方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人好奇心驱动探索方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同好奇心方法在多种机器人场景中的表现

基准测试
SLAM Backend Optimization Benchmark for Robotics
国际SLAM研究社区

SLAM Backend Optimization Benchmark for Robotics是SLAM后端优化领域的权威基准测试,为SLAM后端优化算法的性能评估提供标准化的测试平台和评价指标。该基准测试由国际SLAM研究社区共同制定,涵盖了室内、室外、无人机、自动驾驶等多种SLAM应用场景的后端优化任务。测试采用统一的数据集和评估协议,评估指标包括优化精度、收敛速度、计算效率、内存占用、鲁棒性等。该基准测试已成为SLAM后端优化研究领域的标准评估工具,被大量学术论文引用,适用于SLAM、图优化、状态估计、自主导航等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Masked Image Modeling Benchmark for Robotics
国际机器人学习研究社区

Masked Image Modeling Benchmark for Robotics是一个面向机器人掩码图像建模的基准测试,系统评估MAE、BEiT、SimMIM、数据2vec、iBOT等方法在机器人视觉表示学习、场景理解、操作策略学习等场景中的表示学习效果。基准测试使用统一的评估协议和数据集,对比不同掩码图像建模方法的表示质量、下游任务性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人掩码图像建模方法,来源机构为国际机器人学习研究社区。

在统一的机器人掩码图像建模任务上,对比不同掩码图像建模方法在多种机器人场景中的表现

基准测试
Tactile Sensor Benchmark for Robotics
国际传感器与机器人学研究社区

Tactile Sensor Benchmark for Robotics是机器人触觉传感器领域的权威基准测试,为触觉传感器的性能评估提供标准化的测试平台和评价体系。该基准测试由国际传感器和机器人学研究社区共同制定,涵盖了空间分辨率、灵敏度、响应时间、线性度、迟滞、耐用性等典型触觉传感器性能指标。测试采用统一的测试设备和评估协议,评估指标包括空间分辨率、力灵敏度、响应时间、测量范围、信噪比等。该基准测试已成为机器人触觉传感器研究领域的标准评估工具,被大量学术论文引用,适用于机器人触觉传感器、触觉感知、灵巧操作等领域的传感器评估和比较。

标准化测试设备+多指标量化评估

基准测试
Motion Planning Benchmark for Mobile Robots
移动机器人运动规划研究社区

Motion Planning Benchmark for Mobile Robots是移动机器人运动规划研究社区维护的标准化评测基准,用于公平比较不同运动规划算法在各类环境和任务中的性能。基准涵盖基于图搜索、基于采样、基于优化、基于反应式、基于学习等多种规划方法,以及室内导航、室外导航、多机器人规划、动态环境规划等多种应用场景。基准提供了统一的环境数据集、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和环境表示。

在统一的环境数据集和任务设置下运行各规划算法,记录路径长度、规划时间、成功率等指标,多次运行取平均值和标准差

数据集评测
GAN-based Data Augmentation Benchmark for Robotics
国际机器人学习研究社区

GAN-based Data Augmentation Benchmark for Robotics是一个面向机器人GAN数据增强的基准测试,系统评估条件GAN、CycleGAN、StyleGAN、Pix2Pix等方法在机器人图像数据增强、仿真到真实迁移、场景生成等场景中的增强效果。基准测试使用统一的评估协议和数据集,对比不同GAN方法的增强数据质量、多样性、下游任务性能提升,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人GAN数据增强方法,来源机构为国际机器人学习研究社区。

在统一的机器人数据增强任务上,对比不同GAN方法在多种机器人场景中的表现

基准测试
Potential-Based Reward Shaping Benchmark for Robotics
国际机器人学习研究社区

Potential-Based Reward Shaping Benchmark for Robotics是一个面向机器人基于势函数的奖励塑形的基准测试,系统评估静态势函数奖励塑形、动态势函数奖励塑形、基于状态的势函数奖励塑形、基于状态动作的势函数奖励塑形、基于价值函数的势函数奖励塑形等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同势函数方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人基于势函数的奖励塑形方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同势函数奖励塑形方法在多种机器人场景中的表现

基准测试
End-to-End Autonomous Driving Benchmark
国际自动驾驶研究社区

End-to-End Autonomous Driving Benchmark是一个面向端到端自动驾驶的基准测试,系统评估模仿学习端到端、强化学习端到端、世界模型端到端、多模态大模型端到端等方法在城市道路、高速公路、停车场等场景中的驾驶效果。基准测试使用统一的评估协议和仿真环境,对比不同端到端方法的安全性、泛化性、可解释性、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于自动驾驶研究者,帮助选择和设计适合特定应用的端到端自动驾驶方案,来源机构为国际自动驾驶研究社区。

在统一的端到端自动驾驶任务上,对比不同端到端方法在多种驾驶场景中的表现

基准测试
Transformer Benchmark for Robotics
自然语言处理与机器人学研究社区

Transformer Benchmark for Robotics是机器人Transformer领域的权威基准测试,为Transformer模型的性能评估提供标准化的测试场景和评价指标。该基准测试由自然语言处理和机器人学交叉领域的研究社区共同制定,涵盖了视觉语言导航、操作策略学习、多模态感知、长程任务规划等典型Transformer应用场景。测试采用统一的数据集和评估协议,评估指标包括任务成功率、泛化能力、推理效率、数据效率、多模态融合质量等。该基准测试已成为机器人Transformer研究领域的标准评估工具,被大量学术论文引用,适用于具身智能、视觉语言模型、通用机器人策略等领域的算法评估和比较。

标准化任务测试+多场景评估+多指标量化

基准测试
Depth Estimation Benchmark for Robotics
机器人学与计算机视觉研究社区

Depth Estimation Benchmark for Robotics是机器人深度估计领域的权威基准测试,为深度估计算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器人学和计算机视觉交叉领域的研究社区共同制定,涵盖了室内场景、室外场景、动态场景、低纹理区域等典型深度估计任务场景。测试采用统一的数据集和评估协议,评估指标包括深度精度、绝对误差、相对误差、处理速度、鲁棒性等。该基准测试已成为机器人深度估计研究领域的标准评估工具,被大量学术论文引用,适用于机器人深度估计、三维感知、自主导航等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Model-Based Reinforcement Learning Benchmark for Robotics
机器人基于模型强化学习研究社区

Model-Based Reinforcement Learning Benchmark for Robotics是机器人基于模型强化学习领域的标准评测基准,涵盖世界模型学习、规划与控制、Dyna架构、模型预测控制、不确定性感知等核心任务。基准提供机器人操作、导航、抓取、运动控制等多种任务的数据集,支持Dreamer、MBPO、PlaNet、PETS、MuZero等多种算法对比,集成不同模型复杂度和规划深度的实验设置。基准评测指标包括渐近性能、样本效率、模型误差、规划效率、计算效率,支持不同任务、不同模型类型、不同规划深度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人基于模型强化学习研究的标准评测平台。

基于模型强化学习实验,评估不同算法的样本效率和渐近性能

基准测试
Speech Recognition Benchmark for Robotics
国际语音处理与机器人学研究社区

Speech Recognition Benchmark for Robotics是机器人语音识别领域的权威基准测试,为语音识别算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际语音处理和机器人学研究社区共同制定,涵盖了安静环境、噪声环境、远场场景、方言场景、多说话人等典型语音识别任务场景。测试采用统一的数据集和评估协议,评估指标包括词错误率、字符错误率、识别准确率、实时因子、噪声鲁棒性等。该基准测试已成为机器人语音识别研究领域的标准评估工具,被大量学术论文引用,适用于机器人语音识别、语音交互、人机交互等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Sampling-Based Planning Benchmark for Robotics
国际机器人学研究社区

Sampling-Based Planning Benchmark for Robotics是机器人基于采样的规划领域的权威基准测试,为采样式运动规划算法的性能评估提供标准化的测试场景和评价体系。该基准测试由国际机器人学研究社区共同制定,涵盖了高维构型空间、复杂障碍物环境、多机器人系统等典型基于采样的规划任务场景。测试采用统一的环境模型和评估协议,评估指标包括规划成功率、收敛速度、路径质量、渐近最优性、计算效率等。该基准测试已成为机器人基于采样的规划研究领域的标准评估工具,被大量学术论文引用,适用于机器人基于采样的规划、高维空间运动规划、自主操作等领域的算法评估和比较。

标准化仿真测试+多维度场景+多指标量化评估

基准测试
Multi-Robot Coordination Benchmark
多机器人协调研究社区

Multi-Robot Coordination Benchmark是多机器人协调与编队控制研究社区维护的标准化评测基准,用于公平比较不同多机器人协调算法在各类任务中的性能。基准涵盖基于行为、基于市场、基于优化、基于学习、基于编队控制等多种协调方法,以及搜索救援、环境监测、物流配送、农业作业、军事侦察等多种应用任务。基准提供了统一的仿真环境、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种机器人平台和通信方式。

在统一的仿真环境和任务设置下运行各协调算法,记录任务完成时间、编队稳定性、通信开销等指标,多次运行取平均值和标准差

基准测试
Particle Filtering Benchmark for Robotics
机器人学与统计信号处理研究社区

Particle Filtering Benchmark for Robotics是机器人粒子滤波领域的权威基准测试,为粒子滤波算法在机器人非线性非高斯状态估计中的性能评估提供标准化的测试场景和评价体系。该基准测试由机器人学和统计信号处理交叉领域的研究社区共同制定,涵盖了机器人全局定位、SLAM、目标跟踪、多传感器融合等典型粒子滤波应用场景。测试采用统一的仿真环境和评估协议,评估指标包括估计精度、粒子效率、鲁棒性、计算复杂度、可扩展性等。该基准测试已成为机器人粒子滤波研究领域的标准评估工具,被大量学术论文引用,适用于机器人粒子滤波、非线性滤波、状态估计等领域的算法评估和比较。

标准化仿真测试+多应用场景+多指标量化评估

基准测试
Intrinsic Motivation Benchmark for Robotics
国际机器人学习研究社区

Intrinsic Motivation Benchmark for Robotics是一个面向机器人内在动机的基准测试,系统评估基于信息增益的内在动机、基于预测误差的内在动机、基于能力的内在动机、基于新颖性的内在动机、基于授权的内在动机等方法在机器人操作、导航、运动控制、多任务学习等场景中的探索效果。基准测试使用统一的评估协议和仿真环境,对比不同内在动机方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人内在动机方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同内在动机方法在多种机器人场景中的表现

基准测试
Active Perception Benchmark
机器人主动感知研究社区

Active Perception Benchmark是机器人主动感知和Next-Best-View(NBV)研究社区维护的标准化评测基准,用于公平比较不同主动感知算法在机器人感知任务中的性能。基准涵盖基于信息论的方法、基于几何的方法、基于学习的方法、基于采样的方法、基于优化的方法等多种主动感知方法,以及Next-Best-View规划、主动目标检测与识别、主动3D重建、主动场景理解、主动抓取规划、主动探索与建图等多种主动感知应用。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集和仿真环境。

在统一的场景和感知任务下运行各主动感知算法,记录感知质量、探索效率、路径长度等指标,多次运行取平均值和标准差

基准测试
Swarm Intelligence Benchmark for Robotics
国际机器人学习研究社区

Swarm Intelligence Benchmark for Robotics是一个面向机器人群体智能的基准测试,系统评估蚁群算法、粒子群优化、蜂群算法、鱼群算法、群体行为等方法在多机器人搜索、覆盖、编队、运输等任务中的效果。基准测试使用统一的评估协议和场景,对比不同群体智能方法的收敛速度、解质量、鲁棒性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的群体智能方案,来源机构为国际机器人学习研究社区。

在统一的多机器人搜索、覆盖、编队、运输任务上,对比不同群体智能方法的效果

基准测试
Trajectory Optimization Benchmark for Robotics
机器人学与控制科学研究社区

Trajectory Optimization Benchmark for Robotics是机器人轨迹优化领域的权威基准测试,为轨迹优化算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器人学和控制科学交叉领域的研究社区共同制定,涵盖了机械臂操作、移动机器人导航、无人机飞行、人形机器人运动等典型轨迹优化任务场景。测试采用统一的系统模型和评估协议,评估指标包括轨迹质量、优化时间、约束满足度、数值稳定性、计算效率等。该基准测试已成为机器人轨迹优化研究领域的标准评估工具,被大量学术论文引用,适用于机器人轨迹优化、运动规划、运动控制等领域的算法评估和比较。

标准化仿真测试+多任务场景+多指标量化评估

基准测试
Contrastive Learning Benchmark for Robotics
国际机器人学习研究社区

Contrastive Learning Benchmark for Robotics是一个面向机器人对比学习的基准测试,系统评估SimCLR、MoCo、BYOL、SwAV、DINO等方法在机器人视觉表示学习、操作策略学习、导航表示学习等场景中的表示学习效果。基准测试使用统一的评估协议和数据集,对比不同对比学习方法的表示质量、下游任务性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人对比学习方法,来源机构为国际机器人学习研究社区。

在统一的机器人对比学习任务上,对比不同对比学习方法在多种机器人场景中的表现

基准测试
Simulated Annealing Benchmark for Robotics
优化算法与机器人学研究社区

Simulated Annealing Benchmark for Robotics是机器人模拟退火算法领域的权威基准测试,为模拟退火优化算法的性能评估提供标准化的测试场景和评价指标。该基准测试由优化算法和机器人学研究社区共同制定,涵盖了路径规划、布局优化、任务调度、参数优化等典型机器人组合优化问题场景。测试采用统一的问题集和评估协议,评估指标包括最优解质量、收敛速度、冷却效率、计算成本、参数鲁棒性等。该基准测试已成为机器人模拟退火研究领域的标准评估工具,被大量学术论文引用,适用于机器人组合优化、路径规划、系统设计等领域的算法评估和比较。

标准化组合优化问题测试+多场景评估+多指标量化

基准测试
Decision Making Benchmark for Robotics
决策科学与机器人学研究社区

Decision Making Benchmark for Robotics是机器人决策领域的权威基准测试,为决策算法的性能评估提供标准化的测试场景和评价指标。该基准测试由决策科学和机器人学交叉领域的研究社区共同制定,涵盖了路径选择、任务调度、资源分配、风险规避、人机协作等典型决策任务场景。测试采用统一的环境模型和评估协议,评估指标包括决策质量、决策时间、累积奖励、风险控制、适应性等。该基准测试已成为机器人决策研究领域的标准评估工具,被大量学术论文引用,适用于机器人自主系统、人工智能、智能控制等领域的算法评估和比较。

标准化环境测试+多场景评估+多指标量化

基准测试
Slip Detection Benchmark for Robotics
机器人学与传感器研究社区

Slip Detection Benchmark for Robotics是机器人滑觉检测领域的权威基准测试,为滑觉检测算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器人学和传感器交叉领域的研究社区共同制定,涵盖了静态抓取、动态操作、物体转移、表面滑动等典型滑觉检测任务场景。测试采用统一的数据集和评估协议,评估指标包括检测准确率、误报率、漏报率、响应延迟、鲁棒性等。该基准测试已成为机器人滑觉检测研究领域的标准评估工具,被大量学术论文引用,适用于机器人滑觉检测、抓取稳定性、灵巧操作等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Impedance Control Benchmark for Robotics
机器人学与控制科学研究社区

Impedance Control Benchmark for Robotics是机器人阻抗控制领域的权威基准测试,为阻抗控制算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器人学和控制科学交叉领域的研究社区共同制定,涵盖了人机协作、精密装配、康复训练、手术操作等典型阻抗控制应用场景。测试采用统一的仿真环境和接触模型,评估指标包括力跟踪精度、阻抗调节性能、稳定性、安全性、计算效率等。该基准测试已成为机器人阻抗控制研究领域的标准评估工具,被大量学术论文引用,适用于机器人阻抗控制、力控、柔顺控制、人机交互等领域的算法评估和比较。

标准化仿真测试+多交互场景+多指标量化评估

基准测试
Conditional Policy Gradient Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU & MIT

Conditional Policy Gradient Benchmark for Robot Skills是一个面向机器人技能的条件策略梯度基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件策略梯度评估协议,分析了条件类型、引导强度、策略梯度算法对控制性能的影响,并比较了条件策略梯度策略与无条件策略梯度策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU、MIT等。

标准化条件策略梯度评估协议

基准测试
Diffusion Policy Benchmark for Robotics
国际机器人学习研究社区

Diffusion Policy Benchmark for Robotics是一个面向机器人扩散策略的基准测试,系统评估去噪扩散概率模型、分数匹配生成模型、扩散规划等方法在机器人操作策略生成、运动规划、轨迹生成等场景中的策略效果。基准测试使用统一的评估协议和仿真环境,对比不同扩散方法的策略性能、采样速度、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人扩散策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作任务上,对比不同扩散策略在多种机器人场景中的表现

基准测试
Kalman Filtering Benchmark for Robotics
控制科学与机器人学研究社区

Kalman Filtering Benchmark for Robotics是机器人卡尔曼滤波领域的权威基准测试,为卡尔曼滤波及其扩展算法的性能评估提供标准化的测试场景和评价指标。该基准测试由控制科学和机器人学交叉领域的研究社区共同制定,涵盖了机器人定位、导航、SLAM、运动控制、目标跟踪等典型卡尔曼滤波应用场景。测试采用统一的系统模型和噪声模型,评估指标包括估计精度、收敛速度、滤波器稳定性、计算效率、内存占用等。该基准测试已成为机器人卡尔曼滤波研究领域的标准评估工具,被大量学术论文引用,适用于机器人卡尔曼滤波、状态估计、传感器融合等领域的算法评估和比较。

标准化仿真测试+多应用场景+多指标量化评估

基准测试
Conditional Q-Learning Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU & MIT

Conditional Q-Learning Benchmark for Robot Skills是一个面向机器人技能的条件Q学习基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件Q学习评估协议,分析了条件类型、引导强度、Q学习算法对控制性能的影响,并比较了条件Q学习策略与无条件Q学习策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU、MIT等。

标准化条件Q学习评估协议

基准测试
Reward Shaping Benchmark for Robotics
国际机器人学习研究社区

Reward Shaping Benchmark for Robotics是一个面向机器人强化学习奖励塑形的基准测试,系统评估基于势函数的奖励塑形、基于示范的奖励塑形、基于人类反馈的奖励塑形、基于逆强化学习的奖励塑形、基于课程学习的奖励塑形等方法在机器人操作、导航、运动控制、多任务学习等场景中的效果。基准测试使用统一的评估协议和仿真环境,对比不同奖励塑形方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人强化学习奖励塑形方法,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同奖励塑形方法在多种机器人场景中的表现

基准测试
Autonomous Driving Planning Benchmark
国际自动驾驶研究社区

Autonomous Driving Planning Benchmark是一个面向自动驾驶规划的基准测试,系统评估行为规划、轨迹规划、路径规划、运动规划、采样规划、优化规划等方法在城市道路、高速公路、停车场等场景中的规划效果。基准测试使用统一的评估协议和仿真环境,对比不同规划方法的安全性、舒适性、效率、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于自动驾驶研究者,帮助选择和设计适合特定应用的自动驾驶规划方案,来源机构为国际自动驾驶研究社区。

在统一的自动驾驶规划任务上,对比不同规划方法在多种驾驶场景中的表现

基准测试
Rule-based Reasoning Benchmark for Robotics
人工智能与机器人学研究社区

Rule-based Reasoning Benchmark for Robotics是机器人规则推理领域的权威基准测试,为规则推理算法的性能评估提供标准化的测试场景和评价指标。该基准测试由人工智能和机器人学研究社区共同制定,涵盖了任务规划、行为决策、故障诊断、安全监控等典型机器人应用场景。测试采用统一的规则集和评估协议,评估指标包括推理准确率、规则匹配速度、冲突解决质量、规则可维护性、可扩展性等。该基准测试已成为机器人规则推理研究领域的标准评估工具,被大量学术论文引用,适用于机器人智能决策、任务规划、安全监控等领域的算法评估和比较。

标准化推理任务测试+多场景评估+多指标量化

基准测试
Recurrent Networks Benchmark for Robotics
国际序列建模与机器人学研究社区

Recurrent Networks Benchmark for Robotics是机器人循环神经网络领域的权威基准测试,为循环网络模型的性能评估提供标准化的测试平台和评价体系。该基准测试由国际序列建模和机器人学研究社区共同制定,涵盖了轨迹预测、运动控制、语言理解、状态估计等典型时序任务场景。测试采用统一的数据集和评估协议,评估指标包括预测误差、控制精度、理解准确率、推理延迟、长程依赖能力等。该基准测试已成为机器人循环网络研究领域的标准评估工具,被大量学术论文引用,适用于机器人时序建模、运动控制、自然语言交互等领域的算法评估和比较。

标准化时序任务测试+多场景评估+多指标量化

基准测试
Point Cloud Processing Benchmark for Robotics
国际机器人学与计算机图形学研究社区

Point Cloud Processing Benchmark for Robotics是机器人点云处理领域的权威基准测试,为点云处理算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人学和计算机图形学研究社区共同制定,涵盖了点云去噪、配准、分割、识别、重建等典型点云处理任务场景。测试采用统一的数据集和评估协议,评估指标包括处理精度、配准误差、分割准确率、重建质量、计算效率等。该基准测试已成为机器人点云处理研究领域的标准评估工具,被大量学术论文引用,适用于机器人点云处理、三维感知、自主系统等领域的算法评估和比较。

标准化数据集测试+多任务评估+多指标量化

基准测试
Offline Reinforcement Learning Benchmark for Robotics
机器人离线强化学习研究社区

Offline Reinforcement Learning Benchmark for Robotics是机器人离线强化学习领域的标准评测基准,涵盖分布外泛化、数据质量、策略约束、离线到在线微调等核心任务。基准提供机器人操作、导航、抓取等多种任务的离线数据集,支持CQL、BCQ、BEAR、IQL、TD3+BC等多种算法对比,集成不同数据质量和数据量的实验设置。基准评测指标包括离线性能、在线微调性能、分布外泛化、样本效率、计算效率,支持不同数据集、不同数据量、不同任务复杂度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人离线强化学习研究的标准评测平台。

离线强化学习实验,对比不同算法在离线数据集上的性能和泛化能力

基准测试
Multimodal Sensor Fusion Benchmark
机器人多模态传感器融合研究社区

Multimodal Sensor Fusion Benchmark是机器人多模态传感器融合研究社区维护的标准化评测基准,用于公平比较不同融合架构和融合算法在机器人感知任务中的性能。基准涵盖视觉-激光融合、视觉-IMU融合(VIO)、视觉-激光-IMU融合、视觉-触觉融合、视觉-听觉融合、多模态语义融合等多种融合范式,以及目标检测、语义分割、深度估计、3D重建、状态估计、场景理解等多种感知任务。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集。

在统一的传感器配置和感知任务下运行各融合算法,记录感知精度、鲁棒性、计算效率等指标,多次运行取平均值和标准差

基准测试
Conditional Actor-Critic Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU & MIT

Conditional Actor-Critic Benchmark for Robot Skills是一个面向机器人技能的条件演员-评论家基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件演员-评论家评估协议,分析了条件类型、引导强度、演员-评论家算法对控制性能的影响,并比较了条件演员-评论家策略与无条件演员-评论家策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU、MIT等。

标准化条件演员-评论家评估协议

基准测试
Artificial Potential Field Benchmark for Robotics
国际机器人学习研究社区

Artificial Potential Field Benchmark for Robotics是一个面向机器人路径规划的人工势场法基准测试,系统评估经典人工势场、改进人工势场、模糊人工势场、神经网络人工势场、混合人工势场等多种方法在机器人导航、避障、编队控制等任务中的规划效果。基准测试使用统一的评估协议和场景集,对比不同方法的避障能力、路径平滑性、计算效率,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的人工势场路径规划方案,来源机构为国际机器人学习研究社区。

在统一的机器人导航、避障、编队控制任务上,对比不同人工势场方法的规划效果

基准测试
Probabilistic Graphical Models Benchmark for Robotics
机器学习与机器人学研究社区

Probabilistic Graphical Models Benchmark for Robotics是机器人概率图模型领域的权威基准测试,为概率图模型算法的性能评估提供标准化的测试场景和评价指标。该基准测试由机器学习和机器人学研究社区共同制定,涵盖了SLAM、状态估计、目标跟踪、行为识别等典型机器人应用场景。测试采用统一的数据集和评估协议,评估指标包括推理精度、学习质量、计算效率、收敛速度、可扩展性等。该基准测试已成为机器人概率图模型研究领域的标准评估工具,被大量学术论文引用,适用于机器人状态估计、SLAM、机器学习等领域的算法评估和比较。

标准化推理任务测试+多场景评估+多指标量化

基准测试
Natural Language Understanding Benchmark for Robotics
国际机器人学与自然语言处理研究社区

Natural Language Understanding Benchmark for Robotics是机器人自然语言理解领域的权威基准测试,为自然语言理解算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人学和自然语言处理研究社区共同制定,涵盖了意图识别、槽位填充、语义解析、指代消解、问答系统等典型自然语言理解任务场景。测试采用统一的数据集和评估协议,评估指标包括意图准确率、槽位F1值、语义解析准确率、指代消解准确率、问答准确率等。该基准测试已成为机器人自然语言理解研究领域的标准评估工具,被大量学术论文引用,适用于机器人自然语言理解、人机交互、智能系统等领域的算法评估和比较。

标准化数据集测试+多任务评估+多指标量化

数据集评测
Robot Benchmark Suite Evaluation for Robotics
CMU, Stanford, MIT

Robot Benchmark Suite Evaluation for Robotics是机器人基准测试套件领域的元评测基准,由卡内基梅隆大学、斯坦福大学、麻省理工学院等机构联合开发,旨在评估和比较不同机器人基准测试套件的质量。该元评测涵盖任务覆盖度、评估指标合理性、标准化程度、可复现性、社区采用度五大核心维度,包含12个评估维度和30个评估指标。评估对象包括LIBERO、RoboCasa、CALVIN、ManiSkill、robosuite等主流基准套件。评估指标包括任务多样性、难度分布、指标完备性、协议清晰度、结果可复现率、社区活跃度、论文引用量等。该元评测已在全球数百个研究机构中使用,是机器人基准测试领域最权威的元评测之一,推动了基准测试套件的质量提升和标准化发展。

多维度元评估+主流基准套件横向比较

基准测试
Robot Audition Benchmark
机器人听觉研究社区

Robot Audition Benchmark是机器人听觉研究社区维护的标准化评测基准,用于公平比较不同麦克风阵列配置和听觉算法在机器人应用中的性能。基准涵盖线性阵列、圆形阵列、矩形阵列、球形阵列、分布式阵列等多种麦克风阵列配置,以及声源定位、语音增强、语音识别、声音事件检测、多声源分离、噪声与混响处理等多种听觉任务。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集和仿真环境。

在统一的麦克风阵列配置和听觉任务下运行各算法,记录定位精度、识别精度、增强质量等指标,多次运行取平均值和标准差

基准测试
Policy Gradient Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley & OpenAI

Policy Gradient Policy Benchmark for Robot Manipulation是一个面向机器人操作的策略梯度策略基准测试。该基准包含多种操作任务,提供了标准化的策略梯度策略训练和评估协议。基准测试了PPO、TRPO、A2C、SAC等策略梯度算法在任务成功率、数据效率、训练稳定性方面的表现,评估指标包括任务成功率、数据效率、训练稳定性、超参数敏感性、样本复杂度。来源机构包括Google Robotics、UC Berkeley、OpenAI等。

标准化策略梯度策略训练与评估协议

基准测试
Q-Learning Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley & OpenAI

Q-Learning Policy Benchmark for Robot Manipulation是一个面向机器人操作的Q学习策略基准测试。该基准包含多种操作任务,提供了标准化的Q学习策略训练和评估协议。基准测试了DQN、Double DQN、Dueling DQN、Rainbow等Q学习算法在任务成功率、数据效率、训练稳定性方面的表现,评估指标包括任务成功率、数据效率、训练稳定性、超参数敏感性、样本复杂度。来源机构包括Google Robotics、UC Berkeley、OpenAI等。

标准化Q学习策略训练与评估协议

基准测试
Exploration Strategies Benchmark for Robotics
国际机器人学习研究社区

Exploration Strategies Benchmark for Robotics是一个面向机器人强化学习探索策略的基准测试,系统评估随机探索、基于不确定性的探索、基于内在动机的探索、基于好奇心的探索、基于目标的探索等方法在机器人操作、导航、运动控制、多任务学习等场景中的探索效果。基准测试使用统一的评估协议和仿真环境,对比不同探索方法的样本效率、渐近性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人强化学习探索策略,来源机构为国际机器人学习研究社区。

在统一的机器人强化学习任务上,对比不同探索策略在多种机器人场景中的表现

基准测试
Cooperative Planning Benchmark for Robotics
国际机器人学习研究社区

Cooperative Planning Benchmark for Robotics是一个面向机器人协同规划的基准测试,系统评估多机器人路径规划、任务规划、运动规划、行为规划等方法在多机器人导航、操作、搜索等任务中的规划效果。基准测试使用统一的评估协议和场景,对比不同规划方法的规划效率、冲突避免能力、解质量,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的协同规划方案,来源机构为国际机器人学习研究社区。

在统一的多机器人导航、操作、搜索任务上,对比不同协同规划方法的效果

基准测试
Motion Planning Benchmark for Robotics
国际机器人学研究社区

Motion Planning Benchmark for Robotics是机器人运动规划领域的权威基准测试,为运动规划算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人学研究社区共同制定,涵盖了机械臂操作、移动机器人导航、人形机器人运动等多种平台的运动规划任务场景。测试采用统一的数据集和评估协议,评估指标包括规划成功率、规划时间、路径质量、计算复杂度、可扩展性等。该基准测试已成为机器人运动规划研究领域的标准评估工具,被大量学术论文引用,适用于机器人运动规划、自主操作、自主导航等领域的算法评估和比较。

标准化数据集测试+多平台评估+多指标量化

基准测试
Actor-Critic Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley & OpenAI

Actor-Critic Policy Benchmark for Robot Manipulation是一个面向机器人操作的演员-评论家策略基准测试。该基准包含多种操作任务,提供了标准化的演员-评论家策略训练和评估协议。基准测试了PPO、SAC、TD3、DDPG、A2C等演员-评论家算法在任务成功率、数据效率、训练稳定性方面的表现,评估指标包括任务成功率、数据效率、训练稳定性、超参数敏感性、样本复杂度。来源机构包括Google Robotics、UC Berkeley、OpenAI等。

标准化演员-评论家策略训练与评估协议

基准测试
Self-Supervised Learning Benchmark for Robotics
国际机器人学习研究社区

Self-Supervised Learning Benchmark for Robotics是一个面向机器人自监督学习的基准测试,系统评估对比学习、掩码图像建模、预测编码等方法在机器人感知、控制、规划、操作、导航等场景中的表示学习效果。基准测试使用统一的评估协议和数据集,对比不同自监督方法的表示质量、下游任务性能、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人自监督学习方法,来源机构为国际机器人学习研究社区。

在统一的机器人表示学习任务上,对比不同自监督方法在多种机器人场景中的表现

基准测试
Particle Swarm Optimization Benchmark for Robotics
国际群体智能与机器人学研究社区

Particle Swarm Optimization Benchmark for Robotics是机器人粒子群优化领域的权威基准测试,为粒子群优化算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际群体智能和机器人学研究社区共同制定,涵盖了路径规划、轨迹优化、控制器设计、参数辨识等典型机器人优化问题场景。测试采用统一的问题集和评估协议,评估指标包括最优解质量、收敛速度、计算效率、多样性保持、高维可扩展性等。该基准测试已成为机器人粒子群优化研究领域的标准评估工具,被大量学术论文引用,适用于机器人优化、运动控制、智能系统等领域的算法评估和比较。

标准化优化问题测试+多场景评估+多指标量化

基准测试
Force Sensing Benchmark for Robotics
国际机器人学与测量科学研究社区

Force Sensing Benchmark for Robotics是机器人力觉感知领域的权威基准测试,为力觉传感算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人学和测量科学研究社区共同制定,涵盖了静态力测量、动态力测量、接触检测、力控、装配等典型力觉感知任务场景。测试采用统一的测试平台和评估协议,评估指标包括测量精度、分辨率、动态响应、线性度、抗干扰能力等。该基准测试已成为机器人力觉感知研究领域的标准评估工具,被大量学术论文引用,适用于机器人力觉感知、力控、精密操作等领域的算法评估和比较。

标准化测试平台+多任务评估+多指标量化

基准测试
Trajectory Tracking Benchmark for Robotics
国际机器人控制研究社区

Trajectory Tracking Benchmark for Robotics是机器人轨迹跟踪领域的权威基准测试,为轨迹跟踪控制算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人控制研究社区共同制定,涵盖了串联机器人、移动机器人、无人机、水下机器人等多种平台的轨迹跟踪任务场景。测试采用统一的数据集和评估协议,评估指标包括跟踪误差、收敛速度、超调量、鲁棒性、计算复杂度等。该基准测试已成为机器人轨迹跟踪研究领域的标准评估工具,被大量学术论文引用,适用于机器人轨迹跟踪、运动控制、自主导航等领域的算法评估和比较。

标准化数据集测试+多平台评估+多指标量化

基准测试
Generative Models Benchmark for Robotics
国际机器人学习研究社区

Generative Models Benchmark for Robotics是一个面向机器人生成模型的基准测试,系统评估生成对抗网络、变分自编码器、扩散模型、流模型等方法在机器人数据增强、仿真环境生成、策略生成等场景中的生成效果。基准测试使用统一的评估协议和数据集,对比不同生成方法的生成质量、多样性、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人研究者,帮助选择和设计适合特定应用的机器人生成模型,来源机构为国际机器人学习研究社区。

在统一的机器人生成任务上,对比不同生成模型在多种机器人场景中的表现

基准测试
Safety Verification Benchmark for Robotics
国际机器人安全研究社区

Safety Verification Benchmark for Robotics是一个面向机器人系统的安全验证基准测试,系统评估形式化验证、可达性分析、障碍证书、控制屏障函数、运行时监控等多种安全验证方法在机器人操作、导航、人机协作等任务中的验证效果。基准测试使用统一的评估协议和场景,对比不同方法的验证完备性、计算效率、误报率,提供详细的实验结果和分析报告。该基准测试适用于机器人安全研究者,帮助选择和设计适合特定机器人系统的安全验证方案,来源机构为国际机器人安全研究社区。

在统一的机器人操作、导航、人机协作场景上,对比不同安全验证方法的效果

基准测试
Symbolic Planning Benchmark for Robotics
国际人工智能与机器人学研究社区

Symbolic Planning Benchmark for Robotics是机器人符号规划领域的权威基准测试,为符号规划算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际人工智能和机器人学研究社区共同制定,涵盖了块世界、物流运输、制造装配、家庭服务、多机器人协同等典型规划任务场景。测试采用统一的PDDL领域文件和评估协议,评估指标包括规划时间、计划长度、计划质量、可扩展性、鲁棒性等。该基准测试已成为机器人符号规划研究领域的标准评估工具,被大量学术论文引用,适用于机器人任务规划、人工智能、自主系统等领域的算法评估和比较。

标准化PDDL任务测试+多场景评估+多指标量化

基准测试
Sensor Fusion Benchmark for Robotics
国际机器人感知研究社区

Sensor Fusion Benchmark for Robotics是机器人传感器融合领域的权威基准测试,为多传感器融合算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际机器人感知研究社区共同制定,涵盖了激光雷达、视觉、IMU、GPS、轮式里程计等多种传感器的融合任务场景。测试采用统一的数据集和评估协议,评估指标包括融合精度、系统鲁棒性、传感器故障容忍度、实时性、计算复杂度等。该基准测试已成为机器人传感器融合研究领域的标准评估工具,被大量学术论文引用,适用于机器人传感器融合、状态估计、自主导航等领域的算法评估和比较。

标准化数据集测试+多传感器组合+多指标量化评估

基准测试
Robot Data Engine Benchmark for Robotics
UofT, Stanford, CMU

Robot Data Engine Benchmark for Robotics是机器人数据引擎领域的权威评测基准,由多伦多大学、斯坦福大学、卡内基梅隆大学等机构联合开发,旨在标准化评估机器人数据引擎的性能。该基准涵盖数据采集、数据标注、数据筛选、数据增强、数据管理五大核心维度,包含16个标准化测试任务和38个评估指标。测试任务包括采集效率评估、标注质量评估、筛选有效性评估、增强多样性评估、管理查询性能等典型数据引擎应用场景。评估指标包括采集速度、标注准确率、数据质量提升、增强多样性、查询延迟、存储效率、成本效益等。该基准已在全球数百个研究机构和企业中使用,是机器人数据引擎领域最权威的评测基准之一,推动了数据引擎技术的标准化评估和工程实践。

标准化测试任务+多维度评估指标

基准测试
Electronic Nose Benchmark for Robotics
机器人电子鼻研究社区

Electronic Nose Benchmark for Robotics是机器人电子鼻(嗅觉传感)研究社区维护的标准化评测基准,用于公平比较不同气体传感器和电子鼻算法在机器人应用中的性能。基准涵盖金属氧化物半导体(MOS)、导电聚合物(CP)、石英晶体微天平(QCM)、声表面波(SAW)、光学式、场效应晶体管(FET)等多种气体传感器类型,以及气体识别、气体浓度估计、气体源定位、气体泄漏检测、环境监测等多种应用任务。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集和仿真环境。

在统一的气体传感器配置和应用任务下运行各算法,记录识别精度、定位精度、鲁棒性等指标,多次运行取平均值和标准差

基准测试
Self-Supervised Learning Benchmark for Robotics
机器人自监督学习研究社区

Self-Supervised Learning Benchmark for Robotics是机器人自监督学习领域的标准评测基准,涵盖视觉自监督、运动自监督、交互自监督、多模态自监督等核心任务。基准提供机器人感知、控制、规划等多种任务的自监督预训练数据集,支持对比学习、掩码建模、生成式方法、预测性方法、关系推理等多种算法对比,集成不同预训练数据和下游任务的实验设置。基准评测指标包括下游任务精度、预训练效率、数据效率、计算效率、迁移能力,支持不同预训练数据量、不同下游任务、不同微调数据量的实验设置。基准由多所高校和研究机构联合维护,已成为机器人自监督学习研究的标准评测平台。

自监督预训练和下游任务微调实验,评估不同算法的预训练效果和迁移能力

基准测试
Conditional Batch Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Batch Benchmark for Robot Skills是一个面向机器人技能的条件批量基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件批量评估协议,分析了条件类型、引导强度、批量算法对控制性能的影响,并比较了条件批量策略与无条件批量策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件批量评估协议

基准测试
Conditional Online Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Online Benchmark for Robot Skills是一个面向机器人技能的条件在线基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件在线评估协议,分析了条件类型、引导强度、在线算法对控制性能的影响,并比较了条件在线策略与无条件在线策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件在线评估协议

基准测试
Conditional Offline Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Offline Benchmark for Robot Skills是一个面向机器人技能的条件离线基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件离线评估协议,分析了条件类型、引导强度、离线算法对控制性能的影响,并比较了条件离线策略与无条件离线策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件离线评估协议

基准测试
Conditional Model-Free Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Model-Free Benchmark for Robot Skills是一个面向机器人技能的条件无模型基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件无模型评估协议,分析了条件类型、引导强度、无模型算法对控制性能的影响,并比较了条件无模型策略与无条件无模型策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件无模型评估协议

基准测试
Conditional Model-Based Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Model-Based Benchmark for Robot Skills是一个面向机器人技能的条件基于模型基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件基于模型评估协议,分析了条件类型、引导强度、模型类型对控制性能的影响,并比较了条件基于模型策略与无条件基于模型策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件基于模型评估协议

基准测试
Conditional Implicit Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Implicit Benchmark for Robot Skills是一个面向机器人技能的条件隐式基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件隐式评估协议,分析了条件类型、引导强度、隐式模型架构对控制性能的影响,并比较了条件隐式策略与无条件隐式策略的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件隐式评估协议

基准测试
Conditional Autoregressive Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Autoregressive Benchmark for Robot Skills是一个面向机器人技能的条件自回归基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件自回归评估协议,分析了条件类型、引导强度、自回归架构对控制性能的影响,并比较了条件自回归与无条件自回归的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件自回归评估协议

基准测试
Conditional GAN Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional GAN Benchmark for Robot Skills是一个面向机器人技能的条件GAN基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件GAN评估协议,分析了条件类型、引导强度、GAN架构对控制性能的影响,并比较了条件GAN与无条件GAN的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件GAN评估协议

基准测试
Conditional VAE Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional VAE Benchmark for Robot Skills是一个面向机器人技能的条件VAE基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件VAE评估协议,分析了条件类型、引导强度、VAE潜变量维度对控制性能的影响,并比较了条件VAE与无条件VAE的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件VAE评估协议

基准测试
Conditional Normalizing Flow Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Normalizing Flow Benchmark for Robot Skills是一个面向机器人技能的条件归一化流基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件归一化流评估协议,分析了条件类型、引导强度、归一化流步数对控制性能的影响,并比较了条件归一化流与无条件归一化流的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件归一化流评估协议

基准测试
Conditional Energy-Based Model Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Energy-Based Model Benchmark for Robot Skills是一个面向机器人技能的条件能量模型基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件能量模型评估协议,分析了条件类型、引导强度、能量模型步数对控制性能的影响,并比较了条件能量模型与无条件能量模型的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件能量模型评估协议

基准测试
Conditional Consistency Model Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Consistency Model Benchmark for Robot Skills是一个面向机器人技能的条件一致性模型基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件一致性模型评估协议,分析了条件类型、引导强度、一致性模型步数对控制性能的影响,并比较了条件一致性模型与无条件一致性模型的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件一致性模型评估协议

基准测试
Conditional Flow Matching Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Flow Matching Benchmark for Robot Skills是一个面向机器人技能的条件流匹配基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件流匹配评估协议,分析了条件类型、引导强度、流匹配步数对控制性能的影响,并比较了条件流匹配与无条件流匹配的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件流匹配评估协议

基准测试
Sequence Modeling Policy Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Sequence Modeling Policy Benchmark for Robot Skills是一个面向机器人技能的序列建模策略基准测试。该基准评估了不同序列建模方法(决策Transformer、行为克隆Transformer、扩散策略、流匹配策略)在机器人操作和导航技能中的控制性能和泛化能力。基准提供了多样化的序列任务和标准化的序列建模评估协议,分析了序列长度、预训练数据、微调策略对控制性能的影响,并比较了序列建模与传统策略学习的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化序列建模评估协议

基准测试
Conditional Diffusion Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Conditional Diffusion Benchmark for Robot Skills是一个面向机器人技能的条件扩散基准测试。该基准评估了不同条件化方式(观测条件、目标条件、语言条件、奖励条件)和引导方法(分类器引导、无分类器引导、奖励引导)在机器人操作和导航技能中的控制性能和适配能力。基准提供了多样化的条件设置和标准化的条件扩散评估协议,分析了条件类型、引导强度、扩散步数对控制性能的影响,并比较了条件扩散与无条件扩散的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化条件扩散评估协议

基准测试
Model Predictive Control Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Model Predictive Control Benchmark for Robot Skills是一个面向机器人技能的模型预测控制基准测试。该基准评估了不同MPC方法(随机射击MPC、CEM-MPC、梯度MPC、学习型MPC)在机器人操作和导航技能中的控制性能和计算效率。基准提供了多样化的控制任务和标准化的MPC评估协议,分析了规划时域、采样数量、模型类型对控制性能的影响,并比较了MPC与其他控制方法的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化MPC评估协议

基准测试
Goal Curriculum Benchmark for Robot Skills
UC Berkeley & DeepMind & CMU

Goal Curriculum Benchmark for Robot Skills是一个面向机器人技能的目标课程基准测试。该基准评估了不同目标课程方法(目标生成、目标采样、目标难度评估、目标课程排序)在机器人操作和导航技能中的学习效果和样本效率。基准提供了多样化的目标空间和标准化的目标课程评估协议,分析了目标难度分布、目标采样策略、课程调整频率对学习性能的影响,并比较了目标课程与无课程学习的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化目标课程评估协议

基准测试
Few-Shot Learning Benchmark for Robot Skills
MIT & DeepMind & CMU

Few-Shot Learning Benchmark for Robot Skills是一个面向机器人技能的少样本学习基准测试。该基准评估了不同少样本学习方法(元学习、迁移学习、数据增强、预训练微调)在机器人操作技能中的样本效率和任务性能。基准提供了多样化的少样本设置(1-shot、5-shot、10-shot)和标准化的少样本评估协议,分析了样本数量、任务难度、方法选择对性能的影响,并比较了少样本学习与传统学习方法的优劣。来源机构包括MIT、DeepMind、CMU等。

标准化少样本学习评估协议

基准测试
Domain Adaptation Benchmark for Robot Learning
UC Berkeley & DeepMind & CMU

Domain Adaptation Benchmark for Robot Learning是一个面向机器人学习的领域自适应基准测试。该基准评估了不同领域自适应方法(对抗自适应、差异最小化、自训练、域随机化)在机器人操作和导航任务中的域对齐效果和目标域性能。基准提供了多样化的源域-目标域组合(仿真到真实、不同光照、不同纹理、不同物理参数)和标准化的领域自适应评估协议,分析了域差异程度、目标域数据量、自适应方法对性能的影响。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化领域自适应评估协议

基准测试
Shielding Benchmark for Robot Reinforcement Learning
MIT & CMU & Oxford

Shielding Benchmark for Robot Reinforcement Learning是一个面向机器人强化学习的屏蔽基准测试。该基准评估了不同屏蔽方法(基于模型的屏蔽、控制屏障函数屏蔽、学习型屏蔽)在机器人操作和导航任务中的安全保障效果和对学习性能的影响。基准提供了多样化的危险场景和标准化的屏蔽评估协议,分析了屏蔽保守性、可证明性、计算开销对系统性能的影响,并比较了屏蔽与其他安全RL方法的优劣。来源机构包括MIT、CMU、Oxford等。

标准化屏蔽评估协议

基准测试
Inverse Reinforcement Learning Benchmark for Robots
UC Berkeley & DeepMind & CMU

Inverse Reinforcement Learning Benchmark for Robots是一个面向机器人的逆强化学习基准测试。该基准评估了不同逆强化学习方法(最大熵IRL、引导成本学习、对抗IRL、偏好学习)在机器人操作和导航任务中的奖励恢复精度和策略性能。基准提供了多样化的任务集合和标准化的演示数据集,分析了演示数据量、专家最优性、奖励函数复杂度对逆强化学习性能的影响,并比较了逆强化学习与直接行为克隆的优劣。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化逆强化学习评估协议

基准测试
Communication Learning Benchmark for Multi-Agent Robots
UC Berkeley & Google Research & Oxford

Communication Learning Benchmark for Multi-Agent Robots是一个面向多智能体机器人的通信学习基准测试。该基准评估了不同通信学习方法(可微通信、图神经网络通信、注意力通信、隐式通信)在多机器人导航、协作操作、集群搜索中的通信效率和协作性能。基准提供了多样化的任务集合和标准化的通信学习评估协议,分析了通信带宽、通信延迟、智能体数量对通信学习性能的影响,并比较了显式通信与隐式协调方法的优劣。来源机构包括UC Berkeley、Google Research、Oxford等。

标准化通信学习评估协议

基准测试
Counterfactual Reasoning Benchmark for Robot Policies
MIT & CMU & Oxford

Counterfactual Reasoning Benchmark for Robot Policies是一个面向机器人策略的反事实推理基准测试。该基准评估了不同反事实推理方法(结构因果模型推理、孪生网络、反事实数据增强)在机器人操作和导航任务中的反事实查询准确率、策略改进效果、故障归因能力。基准提供了多样化的任务集合和标准化的反事实推理评估协议,分析了世界模型质量、因果结构知识、数据量对反事实推理性能的影响,并比较了反事实推理与其他策略分析方法的优劣。来源机构包括MIT、CMU、Oxford等。

标准化反事实推理评估协议

基准测试
Skill Discovery Benchmark for Hierarchical Robot Policies
UC Berkeley & DeepMind & CMU

Skill Discovery Benchmark for Hierarchical Robot Policies是一个面向层次化机器人策略的技能发现基准测试。该基准评估了不同技能发现方法(DIAYN、VALOR、APS、DADS)在机器人操作和导航任务中的技能多样性、可组合性、可迁移性。基准提供了多样化的任务集合和标准化的技能发现评估协议,分析了技能数量、技能时长、奖励设计对技能质量的影响,并比较了技能链与其他层次策略方法的任务完成能力。来源机构包括UC Berkeley、DeepMind、CMU等。

标准化技能发现评估协议

基准测试
Policy Quantization Benchmark for Efficient Robot Learning
MIT & CMU & Oxford

Policy Quantization Benchmark for Efficient Robot Learning是一个面向高效机器人学习的策略量化基准测试。该基准评估了不同策略量化方法(训练后量化、量化感知训练、混合精度量化、二值化)和压缩技术(剪枝、低秩分解)在机器人控制任务中的压缩率-性能权衡。基准提供了多样化的任务集合和标准化的量化评估协议,分析了比特宽度、量化粒度、校准数据对量化后策略性能的影响,并在边缘硬件上评估了量化策略的实时推理性能和功耗。来源机构包括MIT、CMU、Oxford等。

标准化策略量化评估协议

基准测试
Contrastive Representation Benchmark for Robot Reinforcement Learning
MIT & CMU & Oxford

Contrastive Representation Benchmark for Robot Reinforcement Learning是一个面向机器人强化学习的对比表示学习基准测试。该基准评估了不同对比学习目标(CPC、SimCLR、MoCo、BYOL)和数据增强策略在机器人视觉控制任务中的表示学习效果。基准提供了多样化的任务集合和标准化的对比表示评估协议,分析了负样本数量、温度系数、增强强度对表示质量和下游策略性能的影响,并比较了对比表示与其他表示学习范式的优劣。来源机构包括MIT、CMU、Oxford等。

标准化对比表示学习评估协议

基准测试
Autonomous Driving Perception Benchmark
国际自动驾驶研究社区

Autonomous Driving Perception Benchmark是一个面向自动驾驶感知的基准测试,系统评估目标检测、语义分割、实例分割、车道线检测、3D目标检测、多传感器融合等方法在城市道路、高速公路、停车场等场景中的感知效果。基准测试使用统一的评估协议和数据集,对比不同感知方法的准确率、实时性、鲁棒性、计算复杂度,提供详细的实验结果和分析报告。该基准测试适用于自动驾驶研究者,帮助选择和设计适合特定应用的自动驾驶感知方案,来源机构为国际自动驾驶研究社区。

在统一的自动驾驶感知任务上,对比不同感知方法在多种驾驶场景中的表现

基准测试
Convolutional Networks Benchmark for Robotics
计算机视觉与机器人学研究社区

Convolutional Networks Benchmark for Robotics是机器人卷积神经网络领域的权威基准测试,为卷积网络模型的性能评估提供标准化的测试场景和评价指标。该基准测试由计算机视觉和机器人学交叉领域的研究社区共同制定,涵盖了图像分类、目标检测、语义分割、姿态估计等典型视觉任务场景。测试采用统一的数据集和评估协议,评估指标包括分类准确率、检测mAP、分割IoU、推理延迟、模型大小等。该基准测试已成为机器人卷积网络研究领域的标准评估工具,被大量学术论文引用,适用于机器人视觉、感知系统、自主导航等领域的算法评估和比较。

标准化视觉任务测试+多场景评估+多指标量化

基准测试
3D Perception Benchmark for Robotics
国际机器人三维感知研究社区

3D Perception Benchmark for Robotics是机器人三维感知领域的权威基准测试,为三维感知算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人三维感知研究社区共同制定,涵盖了室内环境、室外环境、工业场景、动态场景等典型三维感知任务场景。测试采用统一的数据集和评估协议,评估指标包括深度精度、三维重建质量、处理速度、鲁棒性、计算效率等。该基准测试已成为机器人三维感知研究领域的标准评估工具,被大量学术论文引用,适用于机器人三维感知、计算机视觉、自主系统等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
PRM Path Planning Benchmark for Robotics
国际机器人学习研究社区

PRM Path Planning Benchmark for Robotics是一个面向机器人路径规划的PRM算法基准测试,系统评估经典PRM、PRM*、多查询PRM、lazy PRM、obstacle-based PRM等多种PRM变体在多查询场景、机械臂操作、移动机器人导航等任务中的规划效果。基准测试使用统一的评估协议和场景集,对比不同PRM变体的构建效率、查询效率、路径质量,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的PRM路径规划方案,来源机构为国际机器人学习研究社区。

在统一的多查询场景、机械臂操作、移动机器人导航任务上,对比不同PRM变体的规划效果

基准测试
Semantic Web Benchmark for Robotics
万维网科学与机器人学研究社区

Semantic Web Benchmark for Robotics是机器人语义网领域的权威基准测试,为语义网技术的性能评估提供标准化的测试平台和评价体系。该基准测试由万维网科学和机器人学研究社区共同制定,涵盖了知识共享、服务发现、数据集成、人机协作等典型机器人应用场景。测试采用统一的数据集和评估协议,评估指标包括语义标注准确率、查询响应时间、数据互操作性、服务发现成功率、可扩展性等。该基准测试已成为机器人语义网研究领域的标准评估工具,被大量学术论文引用,适用于机器人知识共享、服务发现、智能系统等领域的算法评估和比较。

标准化语义处理测试+多场景评估+多指标量化

基准测试
Speech Interaction Benchmark for Robotics
国际机器人语音交互研究社区

Speech Interaction Benchmark for Robotics是机器人语音交互领域的权威基准测试,为语音交互系统的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人语音交互研究社区共同制定,涵盖了语音指令、语音问答、多轮对话、噪声环境、远场场景等典型语音交互任务场景。测试采用统一的数据集和评估协议,评估指标包括识别准确率、理解准确率、对话成功率、响应延迟、用户满意度等。该基准测试已成为机器人语音交互研究领域的标准评估工具,被大量学术论文引用,适用于机器人语音交互、人机交互、自然语言处理等领域的算法评估和比较。

标准化数据集测试+多场景评估+多指标量化

基准测试
Mobile Manipulation Evaluation for Robotics
CMU, Stanford, MIT

Mobile Manipulation Evaluation for Robotics是移动操作领域的综合评估基准,由卡内基梅隆大学、斯坦福大学、麻省理工学院等机构联合开发,旨在提供移动操作机器人的全面性能评估框架。该综合评估涵盖系统级性能、算法级性能、硬件级性能、安全与可靠性、用户体验五大核心维度,包含30个标准化评估维度和65个评估指标。评估对象包括学术研究原型和商业移动操作机器人系统,评估方法包括仿真测试、真实世界测试、用户研究、长期部署测试等。评估指标包括任务完成率、操作效率、定位精度、抓取成功率、碰撞率、故障恢复能力、用户满意度等。该综合评估已在全球数百个研究机构和企业中使用,是移动操作领域最全面的评估框架之一,推动了移动操作技术的系统化评估和持续改进。

系统级+算法级+硬件级+安全+用户体验多维度综合评估

基准测试
Scaling Laws Benchmark for Robotics
Stanford, DeepMind, OpenAI

Scaling Laws Benchmark for Robotics是机器人规模定律领域的权威评测基准,由斯坦福大学、谷歌DeepMind、OpenAI等机构联合开发,旨在标准化评估机器人模型的规模定律特性。该基准涵盖数据规模、模型规模、计算规模、任务规模、环境规模五大核心维度,包含18个标准化实验配置和40个评估指标。实验配置包括不同数据量训练、不同参数量模型、不同计算预算、不同任务数量、不同环境复杂度等典型规模定律研究场景。评估指标包括损失曲线、性能拐点、计算最优比、数据最优比、泛化趋势、预测准确度等。该基准已在全球数十个研究机构中使用,是机器人规模定律领域最权威的评测基准之一,推动了规模定律研究的标准化和可复现性。

标准化实验配置+多维度规模分析指标

基准测试
Tactile Sensing Benchmark for Robotic Manipulation
机器人触觉传感研究社区

Tactile Sensing Benchmark for Robotic Manipulation是机器人触觉传感研究社区维护的标准化评测基准,用于公平比较不同触觉传感器和触觉感知算法在机器人操作任务中的性能。基准涵盖电阻式、电容式、压电式、光学式、磁性式等多种触觉传感器类型,以及抓取、操作、装配、表面检测、滑移检测、力估计、纹理识别、材料识别等多种操作任务。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集和仿真环境。

在统一的触觉传感器配置和操作任务下运行各算法,记录感知精度、操作成功率、鲁棒性等指标,多次运行取平均值和标准差

基准测试
Uncertainty Estimation Benchmark for Robotics
国际机器人学习研究社区

Uncertainty Estimation Benchmark for Robotics是一个面向机器人系统的不确定性估计基准测试,系统评估贝叶斯神经网络、集成方法、证据深度学习、蒙特卡洛dropout等多种不确定性估计方法在机器人感知、决策、控制等任务中的估计效果。基准测试使用统一的评估协议和模型,对比不同方法的估计准确性、校准性能、计算效率,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的不确定性估计方法,来源机构为国际机器人学习研究社区。

在统一的机器人感知、决策、控制任务上,对比不同不确定性估计方法的效果

基准测试
Bayesian Networks Benchmark for Robotics
国际概率图模型与机器人学研究社区

Bayesian Networks Benchmark for Robotics是机器人贝叶斯网络领域的权威基准测试,为贝叶斯网络算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际概率图模型和机器人学研究社区共同制定,涵盖了状态估计、故障诊断、决策制定、行为预测等典型机器人应用场景。测试采用统一的数据集和评估协议,评估指标包括推理准确率、学习质量、计算效率、可扩展性、不确定性校准等。该基准测试已成为机器人贝叶斯网络研究领域的标准评估工具,被大量学术论文引用,适用于机器人状态估计、故障诊断、智能决策等领域的算法评估和比较。

标准化推理任务测试+多场景评估+多指标量化

基准测试
Swarm Microrobot Coordination Benchmark
国际微纳机器人研究社区

Swarm Microrobot Coordination Benchmark是一个面向群体微型机器人协同的基准测试,系统评估磁控、光控、化学驱动等多种群体控制方式在靶向药物递送、微创手术、环境监测等场景中的协同效果。基准测试使用统一的评估协议和仿真环境,对比不同群体控制方法的协同精度、可扩展性、鲁棒性、任务完成率,提供详细的实验结果和分析报告。该基准测试适用于微纳机器人研究者,帮助选择和设计适合特定应用的群体微型机器人协同方案,来源机构为国际微纳机器人研究社区。

在统一的群体微型机器人协同任务上,对比不同群体控制方法在应用场景中的表现

基准测试
Task Allocation Benchmark for Robotics
国际机器人学习研究社区

Task Allocation Benchmark for Robotics是一个面向机器人任务分配的基准测试,系统评估静态任务分配、动态任务分配、在线任务分配、多目标任务分配等方法在多机器人操作、运输、搜索等任务中的分配效果。基准测试使用统一的评估协议和任务集,对比不同分配方法的分配效率、负载均衡、通信开销,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的任务分配方案,来源机构为国际机器人学习研究社区。

在统一的多机器人操作、运输、搜索任务上,对比不同任务分配方法的效果

基准测试
Deep Learning Benchmark for Robotics
国际深度学习与机器人学研究社区

Deep Learning Benchmark for Robotics是机器人深度学习领域的权威基准测试,为深度学习算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际深度学习和机器人学研究社区共同制定,涵盖了视觉感知、运动控制、操作策略、语言交互等典型深度学习应用场景。测试采用统一的数据集和评估协议,评估指标包括任务成功率、学习效率、数据效率、泛化能力、推理速度等。该基准测试已成为机器人深度学习研究领域的标准评估工具,被大量学术论文引用,适用于机器人学习、具身智能、自主系统等领域的算法评估和比较。

标准化任务测试+多场景评估+多指标量化

基准测试
Cognitive Architecture Benchmark for Robotics
国际认知科学与机器人学研究社区

Cognitive Architecture Benchmark for Robotics是机器人认知架构领域的权威基准测试,为认知架构系统的性能评估提供标准化的测试场景和评价指标。该基准测试由国际认知科学和机器人学研究社区共同制定,涵盖了感知注意、工作记忆、长期记忆、技能学习、问题求解、社会认知等典型认知任务场景。测试采用统一的任务集和评估协议,评估指标包括任务成功率、学习效率、记忆容量、推理速度、认知一致性等。该基准测试已成为机器人认知架构研究领域的标准评估工具,被大量学术论文引用,适用于认知机器人、通用人工智能、人机协作等领域的算法评估和比较。

标准化任务集测试+多场景评估+多指标量化

基准测试
Path Planning Benchmark for Robotics
国际机器人路径规划研究社区

Path Planning Benchmark for Robotics是机器人路径规划领域的权威基准测试,为路径规划算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人路径规划研究社区共同制定,涵盖了二维网格、三维空间、动态环境、多机器人等典型路径规划任务场景。测试采用统一的环境模型和评估协议,评估指标包括路径长度、规划时间、成功率、路径平滑度、计算效率等。该基准测试已成为机器人路径规划研究领域的标准评估工具,被大量学术论文引用,适用于机器人路径规划、运动规划、自主导航等领域的算法评估和比较。

标准化仿真测试+多场景评估+多指标量化

基准测试
Batch Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Batch Policy Benchmark for Robot Manipulation是一个面向机器人操作的批量策略基准测试。该基准包含多种操作任务,提供了标准化的批量策略训练和评估协议。基准测试了CQL、IQL、BCQ、BEAR、AWAC等批量算法在任务成功率、数据效率、分布外泛化方面的表现,评估指标包括任务成功率、数据效率、分布外泛化、外推误差、超参数敏感性。来源机构包括Google Robotics、UC Berkeley等。

标准化批量策略训练与评估协议

基准测试
Online Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Online Policy Benchmark for Robot Manipulation是一个面向机器人操作的在线策略基准测试。该基准包含多种操作任务,提供了标准化的在线策略训练和评估协议。基准测试了PPO、SAC、TD3、DDPG、A3C等在线算法在任务成功率、样本效率、渐近性能方面的表现,评估指标包括任务成功率、样本效率、渐近性能、训练稳定性、超参数敏感性。来源机构包括Google Robotics、UC Berkeley等。

标准化在线策略训练与评估协议

基准测试
Offline Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Offline Policy Benchmark for Robot Manipulation是一个面向机器人操作的离线策略基准测试。该基准包含多种操作任务,提供了标准化的离线策略训练和评估协议。基准测试了CQL、IQL、BCQ、BEAR、AWAC等离线算法在任务成功率、数据效率、分布外泛化方面的表现,评估指标包括任务成功率、数据效率、分布外泛化、外推误差、超参数敏感性。来源机构包括Google Robotics、UC Berkeley等。

标准化离线策略训练与评估协议

基准测试
Model-Free Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Model-Free Policy Benchmark for Robot Manipulation是一个面向机器人操作的无模型策略基准测试。该基准包含多种操作任务,提供了标准化的无模型策略训练和评估协议。基准测试了PPO、SAC、TD3、DDPG、A3C等无模型算法在任务成功率、样本效率、渐近性能方面的表现,评估指标包括任务成功率、样本效率、渐近性能、训练稳定性、超参数敏感性。来源机构包括Google Robotics、UC Berkeley等。

标准化无模型策略训练与评估协议

基准测试
Model-Based Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Model-Based Policy Benchmark for Robot Manipulation是一个面向机器人操作的基于模型策略基准测试。该基准包含多种操作任务,提供了标准化的基于模型策略训练和评估协议。基准测试了确定性模型、概率模型、隐式模型、世界模型等模型类型在样本效率、任务成功率、模型误差方面的表现,评估指标包括样本效率、任务成功率、模型预测误差、规划时间、渐近性能。来源机构包括Google Robotics、UC Berkeley等。

标准化基于模型策略训练与评估协议

基准测试
Implicit Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Implicit Policy Benchmark for Robot Manipulation是一个面向机器人操作的隐式策略基准测试。该基准包含多种操作任务,提供了标准化的隐式策略训练和评估协议。基准测试了隐式生成模型、能量模型、对比学习模型、隐式密度模型等隐式模型架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化隐式策略训练与评估协议

基准测试
Autoregressive Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Autoregressive Policy Benchmark for Robot Manipulation是一个面向机器人操作的自回归策略基准测试。该基准包含多种操作任务,提供了标准化的自回归策略训练和评估协议。基准测试了RNN、Transformer、GPT、PixelCNN风格等自回归架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化自回归策略训练与评估协议

基准测试
GAN Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

GAN Policy Benchmark for Robot Manipulation是一个面向机器人操作的GAN策略基准测试。该基准包含多种操作任务,提供了标准化的GAN策略训练和评估协议。基准测试了标准GAN、DCGAN、WGAN、StyleGAN等GAN架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化GAN策略训练与评估协议

基准测试
VAE Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

VAE Policy Benchmark for Robot Manipulation是一个面向机器人操作的VAE策略基准测试。该基准包含多种操作任务,提供了标准化的VAE策略训练和评估协议。基准测试了标准VAE、β-VAE、VQ-VAE、Hierarchical VAE等VAE架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化VAE策略训练与评估协议

基准测试
Normalizing Flow Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Normalizing Flow Policy Benchmark for Robot Manipulation是一个面向机器人操作的归一化流策略基准测试。该基准包含多种操作任务,提供了标准化的归一化流策略训练和评估协议。基准测试了RealNVP、Glow、Masked Autoregressive Flow、Neural Spline Flow等归一化流架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化归一化流策略训练与评估协议

基准测试
Energy-Based Model Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Energy-Based Model Policy Benchmark for Robot Manipulation是一个面向机器人操作的能量模型策略基准测试。该基准包含多种操作任务,提供了标准化的能量模型策略训练和评估协议。基准测试了EBM、Score Matching、Contrastive Divergence、Langevin Dynamics等能量模型架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化能量模型策略训练与评估协议

基准测试
Consistency Model Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Consistency Model Policy Benchmark for Robot Manipulation是一个面向机器人操作的一致性模型策略基准测试。该基准包含多种操作任务,提供了标准化的一致性模型策略训练和评估协议。基准测试了Consistency Model、Consistency Distillation、LCM、Consistency Flow等一致性模型架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化一致性模型策略训练与评估协议

基准测试
Flow Matching Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Flow Matching Policy Benchmark for Robot Manipulation是一个面向机器人操作的流匹配策略基准测试。该基准包含多种操作任务,提供了标准化的流匹配策略训练和评估协议。基准测试了OT-CFM、Rectified Flow、Flow Matching、Consistency Flow等流匹配架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化流匹配策略训练与评估协议

基准测试
Transformer Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Transformer Policy Benchmark for Robot Manipulation是一个面向机器人操作的Transformer策略基准测试。该基准包含多种操作任务,提供了标准化的Transformer策略训练和评估协议。基准测试了决策Transformer、序列建模策略、Transformer+RL等方法在长序列建模、任务成功率、样本效率方面的表现,评估指标包括任务成功率、长时序性能、样本效率、推理延迟。来源机构包括Google Robotics、UC Berkeley等。

标准化Transformer策略训练与评估协议

基准测试
Diffusion Policy Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Diffusion Policy Benchmark for Robot Manipulation是一个面向机器人操作的扩散策略基准测试。该基准包含多种操作任务,提供了标准化的扩散策略训练和评估协议。基准测试了DDPM、DDIM、流匹配、一致性模型等扩散架构在多模态动作表达、任务成功率、推理速度方面的表现,评估指标包括任务成功率、多模态覆盖率、推理延迟、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化扩散策略训练与评估协议

基准测试
World Models Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

World Models Benchmark for Robot Manipulation是一个面向机器人操作的世界模型基准测试。该基准包含多种操作任务,提供了标准化的世界模型训练和评估协议。基准测试了前向动力学模型、潜空间世界模型、生成式世界模型、Dreamer系列等方法在预测精度、规划性能、样本效率方面的表现,评估指标包括预测误差、任务成功率、样本效率、规划计算开销。来源机构包括Google Robotics、UC Berkeley等。

标准化世界模型训练与评估协议

基准测试
Curriculum Learning Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Curriculum Learning Benchmark for Robot Manipulation是一个面向机器人操作的课程学习基准测试。该基准包含多种难度递增的操作任务序列,提供了标准化的课程学习训练和评估协议。基准测试了任务课程、目标课程、技能课程、自动课程生成等方法在样本效率、任务性能、学习进度方面的表现,评估指标包括最终任务成功率、样本效率、学习曲线、课程质量。来源机构包括Google Robotics、UC Berkeley等。

标准化课程学习训练与评估协议

基准测试
Meta-Learning Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Meta-Learning Benchmark for Robot Manipulation是一个面向机器人操作的元学习基准测试。该基准包含多种任务族(不同物体、不同目标、不同环境参数),提供了标准化的元学习训练和评估协议。基准测试了MAML、Reptile、Prototypical Networks等方法在少样本适应、任务泛化、样本效率方面的表现,评估指标包括少样本任务成功率、适应速度、元训练样本效率、跨任务泛化能力。来源机构包括Google Robotics、UC Berkeley等。

标准化元学习训练与评估协议

基准测试
Transfer Learning Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Transfer Learning Benchmark for Robot Manipulation是一个面向机器人操作的迁移学习基准测试。该基准包含多种源任务和目标任务组合(抓取到放置、装配到整理、单臂到双臂),提供了标准化的迁移学习训练和评估协议。基准测试了参数迁移、表征迁移、实例迁移、仿真到真实迁移等方法在样本效率、任务成功率、负迁移避免方面的表现,评估指标包括目标任务样本效率、迁移增益、负迁移率、任务完成率。来源机构包括Google Robotics、UC Berkeley等。

标准化迁移学习训练与评估协议

基准测试
Safe RL Benchmark for Robot Control
Google Robotics & MIT

Safe RL Benchmark for Robot Control是一个面向机器人控制的安全强化学习基准测试。该基准包含多种需要安全保障的机器人任务(避障导航、人机协作操作、安全运动控制),提供了标准化的安全约束定义和安全评估协议。基准测试了约束策略优化、屏蔽、鲁棒RL、风险敏感RL等方法在安全满足率、任务性能、样本效率方面的表现,评估指标包括安全约束违反率、任务完成率、安全-性能权衡、样本效率。来源机构包括Google Robotics、MIT等。

标准化安全RL训练与评估协议

基准测试
Imitation Learning Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Imitation Learning Benchmark for Robot Manipulation是一个面向机器人操作的模仿学习基准测试。该基准包含多种操作任务(抓取、放置、装配、整理)和标准化的演示数据集,提供了统一的模仿学习训练和评估协议。基准测试了行为克隆、DAgger、逆强化学习、对抗模仿学习等方法在样本效率、任务成功率、分布外泛化方面的表现,评估指标包括任务完成率、样本效率、泛化能力、演示数据利用率。来源机构包括Google Robotics、UC Berkeley等。

标准化模仿学习训练与评估协议

基准测试
Causal RL Benchmark for Robot Manipulation
Google Robotics & MIT

Causal RL Benchmark for Robot Manipulation是一个面向机器人操作的因果强化学习基准测试。该基准包含多种需要因果理解的操作任务(干预推理、工具使用、因果链操作),提供了标准化的因果策略训练和评估协议。基准测试了因果发现、因果效应估计、反事实推理、因果策略优化等方法在泛化能力、干预决策、样本效率方面的表现,评估指标包括分布外任务成功率、因果发现准确率、反事实推理准确率、样本效率。来源机构包括Google Robotics、MIT等。

标准化因果策略训练与评估协议

基准测试
Policy Distillation Benchmark for Robot Learning
Google Robotics & UC Berkeley

Policy Distillation Benchmark for Robot Learning是一个面向机器人学习的策略蒸馏基准测试。该基准包含多种操作和导航任务,提供了标准化的教师策略训练和学生策略蒸馏评估协议。基准测试了行为克隆蒸馏、价值函数蒸馏、特征蒸馏、教师学生学习等方法在蒸馏后性能保持、样本效率、推理速度方面的表现,评估指标包括蒸馏后任务成功率、性能下降率、推理延迟、模型压缩率。来源机构包括Google Robotics、UC Berkeley等。

标准化教师训练与学生蒸馏评估协议

基准测试
Ant Colony Optimization Benchmark for Robotics
群体智能与机器人学研究社区

Ant Colony Optimization Benchmark for Robotics是机器人蚁群算法领域的权威基准测试,为蚁群优化算法的性能评估提供标准化的测试场景和评价指标。该基准测试由群体智能和机器人学研究社区共同制定,涵盖了路径规划、多机器人任务分配、网络路由、集群协调等典型机器人应用场景。测试采用统一的问题集和评估协议,评估指标包括解质量、收敛速度、信息素效率、参数鲁棒性、动态适应性等。该基准测试已成为机器人蚁群算法研究领域的标准评估工具,被大量学术论文引用,适用于机器人路径规划、群体智能、多机器人系统等领域的算法评估和比较。

标准化问题测试+多场景评估+多指标量化

基准测试
Tactile Perception Benchmark for Robotics
国际机器人触觉感知研究社区

Tactile Perception Benchmark for Robotics是机器人触觉感知领域的权威基准测试,为触觉感知算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人触觉感知研究社区共同制定,涵盖了物体识别、材质分类、接触检测、力估计、滑觉检测等典型触觉感知任务场景。测试采用统一的数据集和评估协议,评估指标包括识别准确率、检测精度、响应速度、鲁棒性、计算效率等。该基准测试已成为机器人触觉感知研究领域的标准评估工具,被大量学术论文引用,适用于机器人触觉感知、灵巧操作、人机交互等领域的算法评估和比较。

标准化数据集测试+多任务评估+多指标量化

基准测试
Motion Control Benchmark for Robotics
国际机器人控制研究社区

Motion Control Benchmark for Robotics是机器人运动控制领域的权威基准测试,为运动控制算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人控制研究社区共同制定,涵盖了工业机器人、服务机器人、移动机器人等典型运动控制任务场景。测试采用统一的仿真环境和机器人模型,评估指标包括跟踪精度、响应速度、鲁棒性、计算效率、能耗等。该基准测试已成为机器人运动控制研究领域的标准评估工具,被大量学术论文引用,适用于机器人运动控制、轨迹跟踪、自主系统等领域的算法评估和比较。

标准化仿真测试+多场景评估+多指标量化

数据集评测
Mobile Manipulation Simulation Benchmark for Robotics
Stanford, CMU, MIT

Mobile Manipulation Simulation Benchmark for Robotics是移动操作仿真领域的权威评测基准,由斯坦福大学、卡内基梅隆大学、麻省理工学院等机构联合开发,旨在标准化评估移动操作仿真环境的质量和仿真到现实迁移效果。该基准涵盖物理保真度、传感器仿真质量、任务多样性、计算效率、仿真到现实差距五大核心维度,包含18个标准化评估配置和40个评估指标。评估对象包括ManiSkill、robosuite、Habitat、AI2-THOR、Isaac Sim等主流移动操作仿真环境。评估指标包括物理精度、渲染质量、传感器精度、任务覆盖、实时率、迁移成功率等。该基准已在全球数百个研究机构中使用,是移动操作仿真领域最权威的评测基准之一,推动了仿真环境质量的提升和仿真到现实技术的发展。

多维度仿真质量评估+主流仿真环境横向比较

基准测试
Generalist Robot Policy Benchmark for Robotics
OpenAI, DeepMind, CMU

Generalist Robot Policy Benchmark for Robotics是通用机器人策略领域的权威评测基准,由OpenAI、谷歌DeepMind、卡内基梅隆大学等机构联合开发,旨在标准化评估通用机器人策略的性能。该基准涵盖跨任务泛化、跨形态泛化、跨场景泛化、跨物体泛化、零样本策略五大核心维度,包含22个标准化测试任务和48个评估指标。测试任务包括多任务操作、新形态迁移、新场景适应、新物体操作、零样本执行等典型通用策略应用场景。评估指标包括平均成功率、泛化gap、样本效率、适应速度、鲁棒性、计算开销、可扩展性等。该基准已在全球数百个研究机构和企业中使用,是通用机器人策略领域最权威的评测基准之一,推动了通用策略技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Surgical Manipulation Benchmark for Robotics
Johns Hopkins, Stanford, MIT

Surgical Manipulation Benchmark for Robotics是机器人手术操作领域的权威评测基准,由约翰霍普金斯大学、斯坦福大学、麻省理工学院等机构联合开发,旨在标准化评估手术操作系统的性能。该基准涵盖手术建模、手术感知、手术规划、手术控制、手术学习五大核心维度,包含20个标准化测试任务和50个评估指标。测试任务包括切口、缝合、切除、剥离、结扎等典型手术操作场景。评估指标包括操作精度、手术时间、力控精度、安全违规次数、学习曲线、医生满意度、并发症率、成功率等。该基准已在全球数百个研究机构和医疗企业中使用,是手术操作领域最权威的评测基准之一,推动了手术操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Experience Replay Benchmark for Distributed Robot RL
MIT & CMU & Oxford

Experience Replay Benchmark for Distributed Robot RL是一个面向分布式机器人强化学习的经验回放基准测试。该基准评估了不同经验回放策略(集中式回放、分布式回放、优先级回放、后见之明回放)和参数同步方法(同步SGD、异步SGD、弹性平均SGD)在样本效率、收敛速度、最终性能、通信开销方面的表现。基准提供了多样化的任务集合和标准化的回放评估协议,分析了回放缓冲区大小、采样比例、同步频率对训练性能的影响。来源机构包括MIT、CMU、Oxford等。

标准化经验回放评估协议

基准测试
Transparency Benchmark for Robotics
国际机器人学习研究社区

Transparency Benchmark for Robotics是一个面向机器人学习的透明度基准测试,系统评估模型卡、数据卡、系统文档、审计日志、影响评估等多种透明度与问责制方法在机器人部署、监管、伦理等场景中的应用效果。基准测试使用统一的评估协议,对比不同透明度框架的完整性、可审计性、用户满意度,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者、工程师和政策制定者,帮助选择和设计适合特定机器人系统的透明度方案,来源机构为国际机器人学习研究社区。

在统一的机器人系统部署场景下,对比不同透明度与问责制方法的效果

基准测试
State Estimation Benchmark for Robotics
国际机器人状态估计研究社区

State Estimation Benchmark for Robotics是机器人状态估计领域的权威基准测试,为状态估计算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人状态估计研究社区共同制定,涵盖了机器人定位、导航、SLAM、运动控制等典型状态估计任务场景。测试采用统一的仿真环境和传感器模型,评估指标包括估计精度、收敛速度、鲁棒性、计算效率、内存占用等。该基准测试已成为机器人状态估计研究领域的标准评估工具,被大量学术论文引用,适用于机器人状态估计、传感器融合、自主导航等领域的算法评估和比较。

标准化仿真测试+多场景评估+多指标量化

基准测试
Multi-Task Learning Benchmark for Robotics
机器人多任务学习研究社区

Multi-Task Learning Benchmark for Robotics是机器人多任务学习领域的标准评测基准,涵盖多任务感知、多任务控制、多任务规划、多任务决策等核心任务。基准提供机器人操作、导航、抓取、人机交互等多种任务的多任务学习数据集,支持硬参数共享、软参数共享、任务分组、任务排序、任务注意力等多种算法对比,集成不同任务组合和任务数量的实验设置。基准评测指标包括平均任务精度、任务冲突度量、迁移增益、计算效率、数据效率,支持不同任务数量、不同任务相似度、不同数据量的实验设置。基准由多所高校和研究机构联合维护,已成为机器人多任务学习研究的标准评测平台。

多任务学习实验,对比不同算法在多任务联合学习上的性能

基准测试
Learning-based Mobile Manipulation Benchmark for Robotics
DeepMind, Stanford, UC Berkeley

Learning-based Mobile Manipulation Benchmark for Robotics是基于学习的移动操作领域的权威评测基准,由谷歌DeepMind、斯坦福大学、加州大学伯克利分校等机构联合开发,旨在标准化评估基于学习的移动操作策略的性能。该基准涵盖强化学习、模仿学习、视觉语言操作、端到端策略、分层学习五大核心维度,包含22个标准化测试任务和48个评估指标。测试任务包括新物体泛化、新场景适应、长程任务执行、多模态指令跟随、零样本操作等典型基于学习的移动操作挑战。评估指标包括任务成功率、样本效率、泛化能力、推理速度、鲁棒性、数据效率、可扩展性等。该基准已在全球数百个研究机构和企业中使用,是基于学习的移动操作领域最权威的评测基准之一。

标准化测试任务+多维度学习策略评估指标

基准测试
Robot Foundation Model Benchmark for Robotics
DeepMind, Stanford, MIT

Robot Foundation Model Benchmark for Robotics是机器人基础模型领域的权威评测基准,由谷歌DeepMind、斯坦福大学、麻省理工学院等机构联合开发,旨在标准化评估机器人基础模型的性能。该基准涵盖VLA模型、通用操作策略、世界模型、多模态感知模型、大规模预训练策略五大核心维度,包含25个标准化测试任务和55个评估指标。测试任务包括开放词汇操作、长程任务规划、跨场景泛化、零样本操作、多模态指令跟随等典型基础模型应用场景。评估指标包括任务成功率、泛化能力、数据效率、推理速度、鲁棒性、安全性、可解释性等。该基准已在全球数百个研究机构和企业中使用,是机器人基础模型领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Underwater Perception Benchmark
水下机器人感知研究社区

Underwater Perception Benchmark是水下机器人感知研究社区维护的标准化评测基准,用于公平比较不同水下感知算法在图像增强质量、目标检测精度、语义分割精度、3D重建质量、定位建图精度等方面的性能。基准涵盖水下图像增强与复原、水下目标检测与识别、水下语义分割、水下3D重建、水下声学感知、水下多传感器融合、水下SLAM等多种水下感知算法,包括浅海、深海、浑浊水域、清澈水域、珊瑚礁、沉船、海洋生物等多种水下场景。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(SUIM、UIEBD、RUIE、Underwater RGB-D、Marine Robotics等)。

在统一数据集和传感器配置下运行各水下感知算法,记录图像增强质量、目标检测精度、语义分割精度、3D重建质量、定位建图精度等指标,多次运行取平均值和标准差

基准测试
RRT Path Planning Benchmark for Robotics
国际机器人学习研究社区

RRT Path Planning Benchmark for Robotics是一个面向机器人路径规划的RRT算法基准测试,系统评估经典RRT、RRT*、双向RRT、RRT-Connect、anytime RRT等多种RRT变体在高维空间、机械臂操作、移动机器人导航等任务中的规划效果。基准测试使用统一的评估协议和场景集,对比不同RRT变体的收敛速度、路径质量、概率完备性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的RRT路径规划方案,来源机构为国际机器人学习研究社区。

在统一的高维空间、机械臂操作、移动机器人导航任务上,对比不同RRT变体的规划效果

基准测试
Ontologies Benchmark for Robotics
知识工程与机器人学研究社区

Ontologies Benchmark for Robotics是机器人本体论领域的权威基准测试,为本体推理算法的性能评估提供标准化的测试场景和评价指标。该基准测试由知识工程和机器人学研究社区共同制定,涵盖了知识共享、语义互操作、任务规划、环境建模等典型机器人应用场景。测试采用统一的本体集和评估协议,评估指标包括推理准确率、查询响应时间、本体一致性、模块化质量、可扩展性等。该基准测试已成为机器人本体论研究领域的标准评估工具,被大量学术论文引用,适用于机器人知识表示、语义互操作、智能系统等领域的算法评估和比较。

标准化推理任务测试+多场景评估+多指标量化

基准测试
Adversarial Defense Benchmark for Robotics
国际机器人安全研究社区

Adversarial Defense Benchmark for Robotics是一个面向机器人系统的对抗防御基准测试,系统评估对抗训练、输入预处理、模型鲁棒化、异常检测、安全验证等多种防御方法在机器人视觉感知、自主导航、操作控制等任务中的防护效果。基准测试使用统一的评估协议和攻击集,对比不同防御方法的鲁棒性、计算开销、性能影响,提供详细的实验结果和分析报告。该基准测试适用于机器人安全研究者,帮助选择和设计适合特定机器人系统的防御方案,来源机构为国际机器人安全研究社区。

在统一的机器人系统和攻击集上,对比不同对抗防御方法的防护效果

基准测试
Evidence Theory Benchmark for Robotics
不确定性推理与机器人学研究社区

Evidence Theory Benchmark for Robotics是机器人证据理论领域的权威基准测试,为证据融合算法的性能评估提供标准化的测试场景和评价指标。该基准测试由不确定性推理和机器人学研究社区共同制定,涵盖了多传感器融合、目标识别、状态估计、决策制定等典型机器人应用场景。测试采用统一的数据集和评估协议,评估指标包括融合准确率、冲突处理能力、计算效率、鲁棒性、实时性等。该基准测试已成为机器人证据理论研究领域的标准评估工具,被大量学术论文引用,适用于机器人多传感器融合、目标识别、不确定性推理等领域的算法评估和比较。

标准化融合任务测试+多场景评估+多指标量化

基准测试
Visual Explanation Benchmark for Robotics
国际机器人学习研究社区

Visual Explanation Benchmark for Robotics是一个面向机器人学习的可视化解释基准测试,系统评估显著性图、类激活图、注意力可视化、特征可视化、决策路径可视化等多种可视化解释方法在机器人视觉感知、操作决策、导航规划等任务中的解释效果。基准测试使用统一的评估协议和模型,对比不同可视化方法的解释真实性、完整性、用户理解度,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的可视化解释方法,来源机构为国际机器人学习研究社区。

在统一的机器人视觉感知、操作决策、导航规划任务上,对比不同可视化解释方法的效果

基准测试
SimplerEnv: Sim-to-Real Evaluation Suite for Robot Manipulation Policies
Google DeepMind / Stanford

SimplerEnv是由Google DeepMind等机构提出的机器人操作策略仿真到真实迁移评估套件。该评测在ALOHA和其他机械臂平台上,通过标准化的仿真环境和真实机器人测试场景,对比不同VLA策略在物体放置、抽屉开关、餐具收纳等任务上的成功率。评测采用统一的任务定义和评估指标,消除不同论文之间的复现性差异。SimplerEnv已成为VLA模型sim-to-real性能对比的事实标准基准,广泛用于RT-2、Octo、π0等模型的性能评估。

在仿真环境和真实机器人上执行统一任务集,记录任务成功率

基准测试
Multi-Agent RL Benchmark for Robot Collaboration
Google Robotics & MIT

Multi-Agent RL Benchmark for Robot Collaboration是一个面向机器人协作的多智能体强化学习基准测试。该基准包含多种多机器人协作任务(协作搬运、协作装配、集群搜索、多机器人导航),提供了标准化的多智能体策略训练和评估协议。基准测试了VDN、QMIX、MAPPO、MADDPG、通信学习等方法在协作效率、可扩展性、样本效率方面的表现,评估指标包括任务完成率、协作效率、智能体数量可扩展性、样本效率。来源机构包括Google Robotics、MIT等。

标准化多智能体策略训练与评估协议

基准测试
Hierarchical RL Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Hierarchical RL Benchmark for Robot Manipulation是一个面向机器人操作的层次强化学习基准测试。该基准包含多种长时序操作任务(多阶段装配、复杂整理、工具使用),提供了标准化的层次策略训练和评估协议。基准测试了选项框架、封建网络、目标条件化层次策略、技能链等方法在样本效率、任务成功率、泛化能力方面的表现,评估指标包括任务完成率、样本效率、子目标达成率、技能复用率。来源机构包括Google Robotics、UC Berkeley等。

标准化层次策略训练与评估协议

基准测试
Representation Learning Benchmark for Robot Reinforcement Learning
Google Robotics & UC Berkeley

Representation Learning Benchmark for Robot Reinforcement Learning是一个面向机器人强化学习的表示学习基准测试。该基准包含多种视觉控制任务(操作、导航、运动控制),提供了标准化的表示学习和下游策略训练评估协议。基准测试了自监督预测、对比学习、世界模型、变分自编码器等表示学习方法在样本效率、最终性能、表示质量方面的表现,评估指标包括下游任务成功率、样本效率、线性探测准确率、表示空间几何性质。来源机构包括Google Robotics、UC Berkeley等。

标准化表示学习与下游策略评估协议

基准测试
Nanorobot Navigation Benchmark
国际纳米机器人研究社区

Nanorobot Navigation Benchmark是一个面向纳米机器人导航的基准测试,系统评估分子机器人、DNA纳米机器人、纳米马达等多种类型在体内导航、分子识别、靶向递送等场景中的导航效果。基准测试使用统一的评估协议和仿真环境,对比不同导航方法的靶向精度、运动效率、生物安全性、系统复杂度,提供详细的实验结果和分析报告。该基准测试适用于纳米机器人研究者,帮助选择和设计适合特定应用的纳米机器人导航方案,来源机构为国际纳米机器人研究社区。

在统一的纳米机器人导航任务上,对比不同导航方法在生物医学应用场景中的表现

基准测试
Distributed Control Benchmark for Robotics
国际机器人学习研究社区

Distributed Control Benchmark for Robotics是一个面向机器人分布式控制的基准测试,系统评估分布式一致性、分布式优化、分布式估计、分布式决策等方法在多机器人编队、覆盖、搜索等任务中的控制效果。基准测试使用统一的评估协议和通信拓扑,对比不同分布式控制方法的收敛速度、鲁棒性、通信开销,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的分布式控制方案,来源机构为国际机器人学习研究社区。

在统一的多机器人编队、覆盖、搜索任务上,对比不同分布式控制方法的效果

基准测试
Edge Inference Benchmark for Robotics
国际机器人学习研究社区

Edge Inference Benchmark for Robotics是一个面向机器人学习的边缘推理基准测试,系统评估纯边缘推理、纯云端推理、边缘-云协同推理、模型分割、动态推理等多种边缘推理模式在机器人操作、导航、感知等低延迟任务中的推理效果。基准测试使用统一的评估协议和模型,对比不同推理模式的延迟、带宽占用、能耗、隐私保护程度,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和系统工程师,帮助选择适合特定机器人场景的边缘推理方案,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知任务上,对比不同边缘推理模式的性能

基准测试
Neural Networks Benchmark for Robotics
国际机器学习与机器人学研究社区

Neural Networks Benchmark for Robotics是机器人神经网络领域的权威基准测试,为神经网络模型的性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器学习和机器人学研究社区共同制定,涵盖了感知、控制、规划、决策等典型机器人任务场景。测试采用统一的数据集和评估协议,评估指标包括预测准确率、控制精度、规划成功率、推理延迟、泛化能力等。该基准测试已成为机器人神经网络研究领域的标准评估工具,被大量学术论文引用,适用于机器人学习、智能控制、自主系统等领域的算法评估和比较。

标准化任务测试+多场景评估+多指标量化

基准测试
Mobile Manipulation Planning Benchmark for Robotics
MIT, CMU, Georgia Tech

Mobile Manipulation Planning Benchmark for Robotics是移动操作规划领域的权威评测基准,由麻省理工学院、卡内基梅隆大学、佐治亚理工学院等机构联合开发,旨在标准化评估移动操作规划算法的性能。该基准涵盖分层规划、同时定位与操作、基于采样的规划、基于优化的规划、基于学习的规划五大核心维度,包含20个标准化测试场景和45个评估指标。测试场景包括窄通道操作、多障碍物避障、动态环境重规划、多任务序列规划、不确定性下规划等典型移动操作规划挑战。评估指标包括规划成功率、规划时间、路径质量、约束满足率、重规划效率、可扩展性等。该基准已在全球数百个研究机构中使用,是移动操作规划领域最权威的评测基准之一。

标准化测试场景+多维度规划评估指标

基准测试
Event Camera Benchmark for Robotics
事件相机机器人应用研究社区

Event Camera Benchmark for Robotics是事件相机机器人应用研究社区维护的标准化评测基准,用于公平比较不同事件相机算法在感知精度、状态估计性能、计算效率和鲁棒性等方面的性能。基准涵盖事件数据处理、特征检测与跟踪、光流估计、深度估计、3D重建、目标检测与跟踪、语义分割、事件相机里程计、VIO、SLAM等多种事件相机算法,包括高速运动场景、高动态范围场景、低光照场景、恶劣天气场景等多种应用场景。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(MVSEC、DSEC、Event-Camera Dataset、EDS等)。

在统一数据集和传感器配置下运行各事件相机算法,记录感知精度、状态估计性能、计算效率、鲁棒性等指标,多次运行取平均值和标准差

基准测试
Data Quality Assessment Benchmark for Robotics
国际机器人学习研究社区

Data Quality Assessment Benchmark for Robotics是一个面向机器人学习的数据质量评估基准测试,系统评估完整性评估、准确性评估、一致性评估、时效性评估、多样性评估等多种数据质量维度和评估方法在机器人操作数据集、导航数据集、感知数据集等场景中的效果。基准测试使用统一的评估协议,对比不同评估方法与模型性能之间的相关性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和数据工程师,帮助选择和设计适合特定数据集的质量评估方法,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知数据集上,对比不同数据质量评估方法与模型性能的相关性

基准测试
Model-Based RL Benchmark for Robotics
国际机器人模型学习研究社区

Model-Based RL Benchmark for Robotics是机器人基于模型强化学习领域的权威基准测试,为基于模型强化学习算法在机器人任务中的性能评估提供标准化的测试平台和评价指标。该基准测试由国际机器人模型学习研究社区共同制定,涵盖了机器人操作、运动控制、导航、移动操作等典型基于模型强化学习任务场景。测试采用统一的仿真环境和机器人模型,评估指标包括样本效率、模型精度、规划质量、最终性能、渐近性能等。该基准测试已成为机器人基于模型强化学习研究领域的标准评估工具,被大量学术论文引用,适用于机器人基于模型强化学习、模型预测控制、样本高效学习等领域的算法评估和比较。

标准化仿真测试+多任务场景+多指标量化评估

基准测试
Goal Representation Benchmark for Goal-Conditioned Robotics
MIT & CMU & Oxford

Goal Representation Benchmark for Goal-Conditioned Robotics是一个面向目标条件化机器人的目标表示基准测试。该基准评估了不同目标表示方法(状态向量、图像编码、语言编码、子目标序列)在目标条件化策略学习、零样本泛化、目标插值、长程任务组合等方面的表现。基准提供了多样化的任务集合和标准化的表示评估协议,分析了表示空间的几何性质(聚类性、线性可分性、插值平滑性)对下游策略性能的影响。来源机构包括MIT、CMU、Oxford等。

标准化目标表示评估协议

基准测试
Robot Text Generation Benchmark for Robotics
Stanford, OpenAI, DeepMind

Robot Text Generation Benchmark for Robotics是机器人文本生成领域的权威评测基准,由斯坦福大学、OpenAI、谷歌DeepMind等机构联合开发,旨在标准化评估机器人文本生成系统的性能。该基准涵盖模板生成、统计生成、神经网络生成、大模型生成、多模态生成五大核心维度,包含14个标准化测试任务和35个评估指标。测试任务包括任务报告生成、用户反馈生成、教育内容生成、营销文案生成、多模态描述生成等典型文本生成场景。评估指标包括BLEU分数、ROUGE分数、METEOR分数、事实一致性、风格一致性、可读性、多样性、用户满意度等。该基准已在全球数百个研究机构和企业中使用,是机器人文本生成领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Domain Adaptation Benchmark for Robotics
机器人领域自适应研究社区

Domain Adaptation Benchmark for Robotics是机器人领域自适应领域的标准评测基准,涵盖无监督域适应、半监督域适应、多源域适应、持续域适应等核心任务。基准提供仿真到现实迁移、跨场景迁移、跨机器人迁移等多种领域自适应数据集,支持基于差异、基于对抗、基于重构、基于自训练、基于元学习等多种算法对比,集成不同源域和目标域的实验设置。基准评测指标包括目标域精度、域差异度量、迁移增益、计算效率、数据效率,支持不同域差异、不同标注量、不同任务复杂度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人领域自适应研究的标准评测平台。

领域自适应实验,评估不同算法在跨域迁移上的性能

基准测试
Genetic Algorithms Benchmark for Robotics
国际遗传算法与机器人学研究社区

Genetic Algorithms Benchmark for Robotics是机器人遗传算法领域的权威基准测试,为遗传算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际遗传算法和机器人学研究社区共同制定,涵盖了路径规划、轨迹优化、控制器参数整定、任务调度等典型机器人优化问题场景。测试采用统一的问题集和评估协议,评估指标包括最优解质量、收敛代数、计算时间、种群多样性、参数敏感性等。该基准测试已成为机器人遗传算法研究领域的标准评估工具,被大量学术论文引用,适用于机器人优化、运动规划、智能控制等领域的算法评估和比较。

标准化优化问题测试+多场景评估+多指标量化

基准测试
Food Manipulation Benchmark for Robotics
Cornell, UC Davis, Purdue

Food Manipulation Benchmark for Robotics是机器人食品操作领域的权威评测基准,由康奈尔大学、加州大学戴维斯分校、普渡大学等机构联合开发,旨在标准化评估食品操作系统的性能。该基准涵盖食品建模、食品感知、抓取策略、切割操作、烹饪操作五大核心维度,包含16个标准化测试任务和42个评估指标。测试任务包括食品抓取、食品切割、食品搅拌、食品翻炒、食品摆盘等典型食品操作场景。评估指标包括操作成功率、食品完整性、切割精度、烹饪效果、操作时间、卫生标准、泛化能力、鲁棒性等。该基准已在全球数百个研究机构和食品企业中使用,是食品操作领域最权威的评测基准之一,推动了食品操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Mobile Manipulation Benchmark for Robotics
CMU, MIT, Stanford

Mobile Manipulation Benchmark for Robotics是机器人移动操作领域的权威评测基准,由卡内基梅隆大学、麻省理工学院、斯坦福大学等机构联合开发,旨在标准化评估移动操作机器人的综合性能。该基准涵盖移动与操作协同、长程任务执行、多物体操作、动态环境适应、人机协作五大核心维度,包含24个标准化测试任务和52个评估指标。测试任务包括仓储拣选、家庭服务、工业装配、零售整理、医疗辅助等典型移动操作应用场景。评估指标包括任务成功率、路径效率、操作精度、规划时间、鲁棒性、安全性、可扩展性等。该基准已在全球数百个研究机构和企业中使用,是移动操作领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Visual-Inertial Odometry Benchmark
视觉惯性里程计研究社区

Visual-Inertial Odometry Benchmark是视觉惯性里程计(VIO)研究社区维护的标准化评测基准,用于公平比较不同VIO方法在定位精度、鲁棒性、计算效率和功耗等方面的性能。基准涵盖松耦合VIO、紧耦合VIO(MSCKF/ROVIO/VINS/OKVIS)、基于学习的VIO、多传感器融合VIO等多种VIO范式,包括手持设备、移动机器人、无人机、自动驾驶、AR/VR等多种应用场景。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(EuRoC、TUM-VI、KITTI、ADVIO、RoomXR等)。

在统一数据集和传感器配置下运行各VIO方法,记录定位精度、鲁棒性、计算效率、功耗等指标,多次运行取平均值和标准差

基准测试
π0: A Vision-Language-Action Flow Model for General Robot Control
具身智能资料库

π0是一个具身智能流匹配VLA模型基准测试,由Physical Intelligence公司开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估流匹配VLA模型在机器人操作任务上的性能,是具身智能和VLA模型领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Policy Gradient with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT & DeepMind

Policy Gradient with RL Benchmark for Robot Learning是一个专注于机器人策略梯度策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同策略梯度RL算法(PPO、TRPO、A2C、SAC)在机器人控制中的表现。基准还评估了优势估计方法、基线函数、探索策略对策略梯度RL性能的影响,分析了不同方法在数据效率和训练稳定性上的权衡。来源机构包括Google Robotics、Stanford、MIT、DeepMind等。

标准化策略梯度RL评估协议

基准测试
Wireless Charging Benchmark for Robotics
国际机器人学习研究社区

Wireless Charging Benchmark for Robotics是一个面向机器人无线充电的基准测试,系统评估感应充电、谐振充电、射频充电、激光充电等多种无线充电方式在移动机器人、无人机、服务机器人等平台中的充电效果。基准测试使用统一的评估协议和测试条件,对比不同无线充电方式的充电效率、充电距离、对准容差、安全性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择适合特定机器人平台的无线充电方案,来源机构为国际机器人学习研究社区。

在统一的测试条件下,对比不同无线充电方式在机器人平台中的充电效果

基准测试
Dijkstra Path Planning Benchmark for Robotics
国际机器人学习研究社区

Dijkstra Path Planning Benchmark for Robotics是一个面向机器人路径规划的Dijkstra算法基准测试,系统评估经典Dijkstra、双向Dijkstra、多目标Dijkstra、动态Dijkstra等多种Dijkstra变体在机器人导航、移动操作、物流调度等任务中的规划效果。基准测试使用统一的评估协议和图数据集,对比不同Dijkstra变体的搜索效率、路径最优性、内存开销,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的Dijkstra路径规划方案,来源机构为国际机器人学习研究社区。

在统一的机器人导航、移动操作、物流调度任务上,对比不同Dijkstra变体的规划效果

基准测试
Knowledge Graphs Benchmark for Robotics
知识表示与机器人学研究社区

Knowledge Graphs Benchmark for Robotics是机器人知识图谱领域的权威基准测试,为知识图谱算法的性能评估提供标准化的测试平台和评价体系。该基准测试由知识表示和机器人学研究社区共同制定,涵盖了场景理解、任务规划、人机交互、常识推理等典型机器人应用场景。测试采用统一的数据集和评估协议,评估指标包括知识抽取准确率、查询响应时间、推理正确率、图谱完整性、可扩展性等。该基准测试已成为机器人知识图谱研究领域的标准评估工具,被大量学术论文引用,适用于机器人知识表示、场景理解、智能决策等领域的算法评估和比较。

标准化知识处理测试+多场景评估+多指标量化

基准测试
Q-Learning with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT & DeepMind

Q-Learning with RL Benchmark for Robot Learning是一个专注于机器人Q学习策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同Q学习RL算法(DQN、Double DQN、Dueling DQN、Rainbow)在机器人控制中的表现。基准还评估了经验回放方法、目标网络、探索策略对Q学习RL性能的影响,分析了不同方法在数据效率和训练稳定性上的权衡。来源机构包括Google Robotics、Stanford、MIT、DeepMind等。

标准化Q学习RL评估协议

基准测试
Adversarial Attack Benchmark for Robotics
国际机器人安全研究社区

Adversarial Attack Benchmark for Robotics是一个面向机器人系统的对抗攻击基准测试,系统评估感知对抗攻击、控制对抗攻击、决策对抗攻击、通信对抗攻击等多种攻击类型在机器人视觉感知、自主导航、操作控制等任务中的攻击效果。基准测试使用统一的评估协议和模型,对比不同攻击方法的攻击成功率、可迁移性、隐蔽性,提供详细的实验结果和分析报告。该基准测试适用于机器人安全研究者,帮助评估机器人系统的对抗脆弱性,来源机构为国际机器人安全研究社区。

在统一的机器人视觉感知、自主导航、操作控制系统上,对比不同对抗攻击方法的效果

基准测试
Rough Sets Benchmark for Robotics
国际粗糙集与机器人学研究社区

Rough Sets Benchmark for Robotics是机器人粗糙集理论领域的权威基准测试,为粗糙集算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际粗糙集和机器人学研究社区共同制定,涵盖了特征选择、知识发现、数据挖掘、决策支持等典型机器人数据处理场景。测试采用统一的数据集和评估协议,评估指标包括约简质量、规则准确率、特征选择效率、计算时间、可解释性等。该基准测试已成为机器人粗糙集研究领域的标准评估工具,被大量学术论文引用,适用于机器人数据挖掘、知识发现、智能决策等领域的算法评估和比较。

标准化数据处理测试+多数据集评估+多指标量化

基准测试
Transfer Learning Benchmark for Robotics
机器人迁移学习研究社区

Transfer Learning Benchmark for Robotics是机器人迁移学习领域的标准评测基准,涵盖域适应、跨任务迁移、仿真到现实迁移、多机器人迁移等核心任务。基准提供机器人感知、控制、规划等多种任务的迁移学习数据集,支持基于实例、基于特征、基于参数、基于关系、对抗迁移等多种算法对比,集成不同源域和目标域的实验设置。基准评测指标包括目标域精度、迁移增益、负迁移率、计算效率、数据效率,支持不同域差异、不同数据量、不同任务相似度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人迁移学习研究的标准评测平台。

迁移学习实验,评估不同算法在跨域跨任务上的迁移性能

基准测试
Actor-Critic with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT & DeepMind

Actor-Critic with RL Benchmark for Robot Learning是一个专注于机器人演员-评论家策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同演员-评论家RL算法(PPO、SAC、TD3、A3C)在机器人控制中的表现。基准还评估了优势估计方法、信用分配、探索策略对演员-评论家RL性能的影响,分析了不同方法在数据效率和训练稳定性上的权衡。来源机构包括Google Robotics、Stanford、MIT、DeepMind等。

标准化演员-评论家RL评估协议

基准测试
Distributed RL Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Distributed RL Benchmark for Robot Manipulation是一个面向机器人操作的分布式强化学习基准测试。该基准包含多种操作任务(抓取、插入、开门、堆叠等),提供了标准化的分布式训练和评估协议,支持不同分布式架构的比较。基准测试了分布式PPO、分布式SAC、IMPALA等方法在训练速度、样本效率、最终性能方面的表现,评估指标包括训练吞吐量、收敛速度、最终任务成功率、通信效率。来源机构包括Google Robotics、UC Berkeley等。

标准化分布式训练与评估协议

基准测试
Causal Explanation Benchmark for Robotics
国际机器人学习研究社区

Causal Explanation Benchmark for Robotics是一个面向机器人学习的因果解释基准测试,系统评估因果推断、反事实解释、因果图建模、干预分析等多种因果解释方法在机器人操作、导航、决策等任务中的解释效果。基准测试使用统一的评估协议和模型,对比不同因果解释方法的因果发现准确性、反事实合理性、干预有效性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的因果解释方法,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、决策任务上,对比不同因果解释方法的效果

基准测试
Neural SLAM Benchmark
神经SLAM研究社区

Neural SLAM Benchmark是神经SLAM研究社区维护的标准化评测基准,用于公平比较不同神经SLAM方法在定位精度、建图质量、鲁棒性和计算效率等方面的性能。基准涵盖基于学习的前端、基于学习的后端、端到端神经SLAM、神经隐式SLAM(NeRF-SLAM/3DGS-SLAM)、语义神经SLAM等多种神经SLAM范式,包括室内场景、室外场景、动态场景、弱纹理场景、高动态范围场景等多种场景类型。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(TUM RGB-D、EuRoC、KITTI、Replica、ScanNet、7-Scenes等)。

在统一数据集和传感器配置下运行各神经SLAM方法,记录定位精度、建图质量、鲁棒性、计算效率等指标,多次运行取平均值和标准差

基准测试
Task Embedding Benchmark for Multi-Task Robotics
CMU & Oxford & Google Research

Task Embedding Benchmark for Multi-Task Robotics是一个面向多任务机器人的任务嵌入基准测试。该基准评估了不同任务嵌入方法(one-hot、语言编码、演示编码、目标图像编码、对比学习嵌入)在任务分类、任务相似度检索、零样本迁移、少样本适配等任务上的表现。基准提供了多样化的任务集合和标准化的嵌入评估协议,分析了嵌入空间的几何性质(聚类性、线性可分性、插值平滑性)对下游任务性能的影响。来源机构包括CMU、Oxford、Google Research等。

标准化任务嵌入评估协议

基准测试
Microrobot Control Benchmark
国际微纳机器人研究社区

Microrobot Control Benchmark是一个面向微型机器人控制的基准测试,系统评估磁驱动、光驱动、化学驱动等多种驱动方式在靶向药物递送、微创手术、细胞操作等场景中的控制效果。基准测试使用统一的评估协议和仿真环境,对比不同控制方法的运动精度、响应速度、鲁棒性、系统复杂度,提供详细的实验结果和分析报告。该基准测试适用于微纳机器人研究者,帮助选择和设计适合特定应用的微型机器人控制方案,来源机构为国际微纳机器人研究社区。

在统一的微型机器人控制任务上,对比不同驱动和控制方法在生物医学应用场景中的表现

基准测试
Multi-Agent Systems Benchmark for Robotics
国际机器人学习研究社区

Multi-Agent Systems Benchmark for Robotics是一个面向机器人多智能体系统的基准测试,系统评估多智能体协调、协作、通信、协商等能力在多机器人操作、导航、搜索、运输等任务中的表现。基准测试使用统一的评估协议和场景,对比不同多智能体系统架构的效率、鲁棒性、可扩展性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的多智能体系统,来源机构为国际机器人学习研究社区。

在统一的多机器人操作、导航、搜索、运输任务上,对比不同多智能体系统架构的表现

基准测试
Knowledge Distillation Benchmark for Robotics
国际机器人学习研究社区

Knowledge Distillation Benchmark for Robotics是一个面向机器人学习的知识蒸馏基准测试,系统评估响应式蒸馏、特征式蒸馏、关系式蒸馏、自蒸馏、跨模态蒸馏等多种蒸馏方法在机器人操作、导航、感知等任务中的蒸馏效果。基准测试使用统一的评估协议和教师-学生模型对,对比不同蒸馏策略的学生模型性能提升、训练效率、泛化能力,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择适合特定机器人任务的蒸馏策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知任务上,对比不同知识蒸馏方法的学生模型性能

基准测试
Evolutionary Algorithms Benchmark for Robotics
国际进化计算与机器人学研究社区

Evolutionary Algorithms Benchmark for Robotics是机器人进化算法领域的权威基准测试,为进化计算算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际进化计算和机器人学研究社区共同制定,涵盖了路径规划、运动控制、参数优化、结构设计等典型机器人优化问题场景。测试采用统一的问题集和评估协议,评估指标包括最优解质量、收敛速度、计算效率、鲁棒性、可扩展性等。该基准测试已成为机器人进化算法研究领域的标准评估工具,被大量学术论文引用,适用于机器人优化、智能控制、自主系统等领域的算法评估和比较。

标准化优化问题测试+多场景评估+多指标量化

基准测试
Cloth Manipulation Benchmark for Robotics
University of Tokyo, Osaka University, Kyoto University

Cloth Manipulation Benchmark for Robotics是机器人布料操作领域的权威评测基准,由东京大学、大阪大学、京都大学等机构联合开发,旨在标准化评估布料操作系统的性能。该基准涵盖布料建模、状态估计、抓取规划、折叠操作、熨烫操作五大核心维度,包含12个标准化测试任务和35个评估指标。测试任务包括布料展开、布料折叠、布料熨烫、布料整理、布料分类等典型布料操作场景。评估指标包括操作成功率、状态估计精度、折叠质量、熨烫效果、操作时间、泛化能力、鲁棒性、计算效率等。该基准已在全球数百个研究机构中使用,是布料操作领域最权威的评测基准之一,推动了布料操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Data Annotation Benchmark for Robotics
国际机器人学习研究社区

Data Annotation Benchmark for Robotics是一个面向机器人学习的数据标注基准测试,系统评估人工标注、半自动标注、主动学习标注、弱监督标注、自监督标注等多种标注方法在机器人操作、抓取、导航、感知等任务中的成本与质量权衡。基准测试使用统一的评估协议,对比不同标注方法的标注效率、标注一致性和模型性能,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和数据标注团队,帮助选择和设计适合特定任务的标注策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、抓取、导航、感知任务上,对比不同数据标注方法的成本与质量

基准测试
Actor-Critic Benchmark for Robotics
国际机器人连续控制研究社区

Actor-Critic Benchmark for Robotics是机器人演员评论家方法领域的权威基准测试,为演员评论家算法在机器人连续控制任务中的性能评估提供标准化的测试场景和评价体系。该基准测试由国际机器人连续控制研究社区共同制定,涵盖了机器人操作、运动控制、灵巧手操作、移动操作等典型连续控制任务场景。测试采用统一的仿真环境和机器人平台,评估指标包括收敛速度、最终性能、策略稳定性、离线策略效率、样本效率等。该基准测试已成为机器人演员评论家研究领域的标准评估工具,被大量学术论文引用,适用于机器人演员评论家、强化学习、连续控制等领域的算法评估和比较。

标准化仿真测试+多连续控制任务+多指标量化评估

基准测试
Robot Dialogue Systems Benchmark for Robotics
MIT, CMU, UTokyo

Robot Dialogue Systems Benchmark for Robotics是机器人对话系统领域的权威评测基准,由麻省理工学院、卡内基梅隆大学、东京大学等机构联合开发,旨在标准化评估机器人对话系统的性能。该基准涵盖基于规则的对话、基于统计的对话、基于神经网络的对话、端到端对话、多模态对话五大核心维度,包含22个标准化测试任务和50个评估指标。测试任务包括任务型对话、闲聊对话、问答对话、多轮对话、情感对话等典型对话场景。评估指标包括对话成功率、任务完成率、用户满意度、对话长度、响应时间、连贯性、多样性、泛化能力等。该基准已在全球数百个研究机构和企业中使用,是机器人对话系统领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Rescue Robotics Benchmark for Robotics
CMU & University of Tokyo

Rescue Robotics Benchmark是一个面向救援机器人的基准测试套件,涵盖受害者搜索、生命体征检测、废墟清理、伤员转运、医疗急救等任务的标准化评估。该基准提供地震、火灾、洪水、矿难、交通事故等场景的仿真环境,支持对比不同救援机器人平台在救援任务中的表现。测试条件包括废墟穿越、狭窄空间、伤员固定、夜间作业等,评估指标包括受害者发现率、生命体征检测精度、伤员转运成功率、任务完成时间等。该基准适用于应急救援、医疗急救、公共安全等领域的算法评估,来源机构包括CMU、东京大学、ETH等。

多救援场景+复杂条件+多平台对比

基准测试
3D Gaussian Splatting Benchmark
3D高斯溅射研究社区

3D Gaussian Splatting Benchmark是3D高斯溅射(3DGS)研究社区维护的标准化评测基准,用于公平比较不同3DGS方法在场景重建质量、渲染速度、内存占用和泛化能力等方面的性能。基准涵盖原始3DGS、4D高斯溅射(动态场景)、语义3DGS、可编辑3DGS、压缩3DGS、3DGS-SLAM等多种3DGS变体,包括室内场景、室外场景、动态场景、人脸/人体场景等多种场景类型。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(Mip-NeRF360、Tanks&Temples、Replica、ScanNet、DYNeRF等)。

在统一数据集和训练预算下运行各3DGS方法,记录重建质量、渲染速度、内存占用、训练时间等指标,多次运行取平均值和标准差

基准测试
RVT vs Diffusion Policy: 桌面操作策略性能对比评测
机器人学习评测社区

本次评测在RLBench仿真基准上对比了RVT(Robotic View Transformer)和Diffusion Policy两种主流视觉运动策略在20项标准操作任务上的性能。RVT在六自由度拾取放置任务上表现更优,Diffusion Policy在精细接触丰富任务上更稳健。评测同时测试了数据效率和训练时间,RVT收敛速度更快,Diffusion Policy需要更多训练步数但最终成功率更高。适用于机械臂操作策略选型和算法对比参考。

在RLBench统一仿真环境中,用相同训练数据量分别训练RVT和Diffusion Policy,在20项标准任务上各运行50次统计成功率

平均任务成功率收敛所需训练步数单步推理时间
基准测试
Batch with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Batch with RL Benchmark for Robot Learning是一个专注于机器人批量策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同批量RL算法(CQL、IQL、BCQ、BEAR)在机器人控制中的表现。基准还评估了数据集质量、行为策略、正则化强度对批量RL性能的影响,分析了不同方法在数据效率和分布外泛化上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化批量RL评估协议

基准测试
Online with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Online with RL Benchmark for Robot Learning是一个专注于机器人在线策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同在线RL算法(策略梯度、演员-评论家、Q学习、PPO)在机器人控制中的表现。基准还评估了网络架构、奖励塑形、探索策略对在线RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化在线RL评估协议

基准测试
Offline with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Offline with RL Benchmark for Robot Learning是一个专注于机器人离线策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同离线RL算法(CQL、IQL、BCQ、BEAR)在机器人控制中的表现。基准还评估了数据集质量、行为策略、正则化强度对离线RL性能的影响,分析了不同方法在数据效率和分布外泛化上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化离线RL评估协议

基准测试
Model-Free with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Model-Free with RL Benchmark for Robot Learning是一个专注于机器人无模型策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同无模型RL算法(策略梯度、演员-评论家、Q学习、PPO)在机器人控制中的表现。基准还评估了网络架构、奖励塑形、探索策略对无模型RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化无模型RL评估协议

基准测试
Model-Based with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Model-Based with RL Benchmark for Robot Learning是一个专注于机器人基于模型策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同基于模型+RL结合方式(模型预测控制+RL、基于模型的策略梯度、世界模型+RL、Dyna风格方法)在机器人控制中的表现。基准还评估了模型步数、引导强度、奖励条件对基于模型+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化基于模型+RL评估协议

基准测试
Implicit with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Implicit with RL Benchmark for Robot Learning是一个专注于机器人隐式策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同隐式+RL结合方式(隐式策略+RL、隐式世界模型+RL、隐式数据生成+RL、引导隐式+RL)在机器人控制中的表现。基准还评估了隐式模型步数、引导强度、奖励条件对隐式+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化隐式+RL评估协议

基准测试
Autoregressive with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Autoregressive with RL Benchmark for Robot Learning是一个专注于机器人自回归策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同自回归+RL结合方式(自回归策略+RL、自回归世界模型+RL、自回归数据生成+RL、引导自回归+RL)在机器人控制中的表现。基准还评估了自回归步数、引导强度、奖励条件对自回归+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化自回归+RL评估协议

基准测试
GAN with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

GAN with RL Benchmark for Robot Learning是一个专注于机器人GAN策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同GAN+RL结合方式(GAN策略+RL、GAN世界模型+RL、GAN数据生成+RL、引导GAN+RL)在机器人控制中的表现。基准还评估了GAN训练步数、引导强度、奖励条件对GAN+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化GAN+RL评估协议

基准测试
VAE with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

VAE with RL Benchmark for Robot Learning是一个专注于机器人VAE策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同VAE+RL结合方式(VAE策略+RL、VAE世界模型+RL、VAE数据生成+RL、引导VAE+RL)在机器人控制中的表现。基准还评估了VAE潜变量维度、引导强度、奖励条件对VAE+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化VAE+RL评估协议

基准测试
Normalizing Flow with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Normalizing Flow with RL Benchmark for Robot Learning是一个专注于机器人归一化流策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同归一化流+RL结合方式(归一化流策略+RL、归一化流世界模型+RL、归一化流数据生成+RL、引导归一化流+RL)在机器人控制中的表现。基准还评估了归一化流步数、引导强度、奖励条件对归一化流+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化归一化流+RL评估协议

基准测试
Energy-Based Model with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Energy-Based Model with RL Benchmark for Robot Learning是一个专注于机器人能量模型策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同能量模型+RL结合方式(能量模型策略+RL、能量模型世界模型+RL、能量模型数据生成+RL、引导能量模型+RL)在机器人控制中的表现。基准还评估了能量模型步数、引导强度、奖励条件对能量模型+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化能量模型+RL评估协议

基准测试
Consistency Model with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Consistency Model with RL Benchmark for Robot Learning是一个专注于机器人一致性模型策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同一致性模型+RL结合方式(一致性模型策略+RL、一致性模型世界模型+RL、一致性模型数据生成+RL、引导一致性模型+RL)在机器人控制中的表现。基准还评估了一致性模型步数、引导强度、奖励条件对一致性模型+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化一致性模型+RL评估协议

基准测试
Flow Matching with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Flow Matching with RL Benchmark for Robot Learning是一个专注于机器人流匹配策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同流匹配+RL结合方式(流匹配策略+RL、流匹配世界模型+RL、流匹配数据生成+RL、引导流匹配+RL)在机器人控制中的表现。基准还评估了流匹配步数、引导强度、奖励条件对流匹配+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化流匹配+RL评估协议

基准测试
Decision Transformer Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Decision Transformer Benchmark for Robot Learning是一个专注于机器人决策Transformer的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同决策Transformer方法(DT、DT-TD、Multi-Game DT、Trajectory Transformer)在机器人控制中的表现。基准还评估了上下文长度、奖励条件、预训练数据量对决策Transformer性能的影响,分析了不同方法在离线预训练和少样本适应上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化决策Transformer评估协议

基准测试
Diffusion Policy with RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Diffusion Policy with RL Benchmark for Robot Learning是一个专注于机器人扩散策略与强化学习结合的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同扩散+RL结合方式(扩散策略+RL、扩散世界模型+RL、扩散数据生成+RL、引导扩散+RL)在机器人控制中的表现。基准还评估了扩散步数、引导强度、奖励条件对扩散+RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化扩散+RL评估协议

基准测试
Model-Based RL Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Model-Based RL Benchmark for Robot Learning是一个专注于机器人基于模型强化学习的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同基于模型的RL方法(Dyna、PETS、MBPO、Dreamer系列)在机器人控制中的表现。基准还评估了模型类型、规划深度、模型更新频率对基于模型RL性能的影响,分析了不同方法在样本效率和渐近性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化基于模型RL评估协议

基准测试
Automated Curriculum Generation Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Automated Curriculum Generation Benchmark for Robot Learning是一个专注于机器人自动课程生成的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同自动课程生成方法(基于性能的课程、基于目标生成的课程、基于多样性的课程、教师学生课程)在机器人控制中的表现。基准还评估了课程调整频率、课程评估指标、任务分布对自动课程性能的影响,分析了不同方法在样本效率和任务性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化自动课程生成评估协议

基准测试
MAML Benchmark for Robot Learning
UC Berkeley & Google Robotics & Stanford

MAML Benchmark for Robot Learning是一个专注于机器人模型无关元学习的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了MAML及其变体(FOMAML、Reptile、MAML++、隐式MAML)在机器人控制中的表现。基准还评估了内循环步数、学习率、任务分布对MAML性能的影响,分析了不同方法在少样本适应和任务性能上的权衡。来源机构包括UC Berkeley、Google Robotics、Stanford等。

标准化MAML评估协议

基准测试
Sim-to-Real Transfer Benchmark for Robot Learning
Google Robotics & Stanford & MIT

Sim-to-Real Transfer Benchmark for Robot Learning是一个专注于机器人仿真到真实迁移的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同仿真到真实迁移方法(域随机化、系统辨识、域自适应、对抗训练)在真实机器人上的表现。基准还评估了仿真保真度、随机化范围、真实微调数据量对迁移效果的影响,分析了不同方法在真实环境中的鲁棒性和性能差距。来源机构包括Google Robotics、Stanford、MIT等。

标准化仿真到真实迁移评估协议

基准测试
Constrained Policy Optimization Benchmark for Robots
Google Robotics & Stanford & MIT

Constrained Policy Optimization Benchmark for Robots是一个专注于机器人约束策略优化的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同约束策略优化方法(CPO、TRPO-Lagrangian、PPO-Lagrangian、约束Q学习)在机器人控制中的表现。基准还评估了约束数量、约束严格度、约束类型对约束优化性能的影响,分析了不同方法在安全满足率和任务性能上的权衡。来源机构包括Google Robotics、Stanford、MIT等。

标准化约束策略优化评估协议

基准测试
Behavior Cloning Benchmark for Robot Control
Google Robotics & Stanford & MIT

Behavior Cloning Benchmark for Robot Control是一个专注于机器人行为克隆的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同行为克隆方法(标准BC、DAgger、数据增强BC、少样本BC)在机器人控制中的表现。基准还评估了演示数据量、演示质量、分布偏移程度对行为克隆性能的影响,分析了不同方法在样本效率和泛化能力上的优劣。来源机构包括Google Robotics、Stanford、MIT等。

标准化行为克隆评估协议

基准测试
Causal Inference Benchmark for Robot Learning
Google Research & Stanford & MIT

Causal Inference Benchmark for Robot Learning是一个专注于机器人因果推断的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同因果发现算法(PC算法、GES、NOTEARS、因果神经网络)和因果效应估计方法在机器人交互数据上的表现。基准还评估了因果图质量、因果效应估计精度、因果策略性能,分析了数据量、噪声水平、混淆变量对因果推断结果的影响。来源机构包括Google Research、Stanford、MIT等。

标准化因果推断评估协议

基准测试
Teacher-Student Policy Benchmark for Robot Control
Google Research & OpenAI & Stanford

Teacher-Student Policy Benchmark for Robot Control是一个专注于机器人教师学生策略蒸馏的基准测试。该基准涵盖操作、导航、运动控制等多种任务域,比较了不同教师学生学习方法(离线蒸馏、在线蒸馏、共同蒸馏、自蒸馏)在性能保持、训练效率、部署效率方面的表现。基准还评估了不同教师策略(集成策略、大规模预训练策略、专家策略)和学生策略架构对蒸馏效果的影响,分析了教师学生容量比、蒸馏温度、蒸馏损失权重等超参数的影响。来源机构包括Google Research、OpenAI、Stanford等。

标准化教师学生策略评估协议

基准测试
VR Teleoperation Benchmark for Robotics
国际机器人遥操作研究社区

VR Teleoperation Benchmark for Robotics是一个面向机器人虚拟现实遥操作的基准测试,系统评估头戴式显示遥操作、沉浸式遥操作、第一人称视角遥操作等方法在工业机器人、服务机器人、医疗机器人、太空机器人等场景中的操作效果。基准测试使用统一的评估协议和任务集,对比不同方法的沉浸感、操作精度、用户负担、系统成本,提供详细的实验结果和分析报告。该基准测试适用于机器人遥操作研究者,帮助选择和设计适合特定应用的虚拟现实遥操作方案,来源机构为国际机器人遥操作研究社区。

在统一的虚拟现实遥操作任务上,对比不同方法在机器人应用场景中的表现

基准测试
Shape Memory Alloy Benchmark for Robotics
国际机器人材料研究社区

Shape Memory Alloy Benchmark for Robotics是一个面向机器人形状记忆合金的基准测试,系统评估镍钛合金、铜基合金、铁基合金等多种形状记忆合金在柔性执行器、微型机器人、医疗机器人等场景中的驱动性能。基准测试使用统一的评估协议和测试条件,对比不同合金的相变温度、恢复应变、疲劳寿命、响应速度,提供详细的实验结果和分析报告。该基准测试适用于机器人材料研究者,帮助选择适合特定机器人应用的形状记忆合金,来源机构为国际机器人材料研究社区。

在统一的测试条件下,对比不同形状记忆合金在机器人应用场景中的驱动性能

基准测试
Battery Technology Benchmark for Robotics
国际机器人学习研究社区

Battery Technology Benchmark for Robotics是一个面向机器人电池技术的基准测试,系统评估锂离子电池、锂聚合物电池、固态电池、燃料电池、超级电容器等多种电池技术在移动机器人、无人机、工业机器人等平台中的性能表现。基准测试使用统一的评估协议和测试条件,对比不同电池技术的能量密度、功率密度、循环寿命、安全性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择适合特定机器人平台的电池技术,来源机构为国际机器人学习研究社区。

在统一的测试条件下,对比不同电池技术在机器人平台中的性能表现

基准测试
A* Path Planning Benchmark for Robotics
国际机器人学习研究社区

A* Path Planning Benchmark for Robotics是一个面向机器人路径规划的A*算法基准测试,系统评估经典A*、加权A*、双向A*、anytime A*、D* Lite等多种A*变体在机器人导航、移动操作、自主驾驶等任务中的规划效果。基准测试使用统一的评估协议和地图集,对比不同A*变体的搜索效率、路径质量、内存开销,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的A*路径规划方案,来源机构为国际机器人学习研究社区。

在统一的机器人导航、移动操作、自主驾驶任务上,对比不同A*变体的规划效果

基准测试
Model Quantization Benchmark for Robotics
国际机器人学习研究社区

Model Quantization Benchmark for Robotics是一个面向机器人学习的模型量化基准测试,系统评估训练后量化、量化感知训练、混合精度量化、二值化、三值化等多种量化方法在机器人操作、导航、感知等任务中的量化效果。基准测试使用统一的评估协议和模型,对比INT8、INT4、FP16等不同精度量化的精度损失、推理速度提升、内存占用减少,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和部署工程师,帮助选择适合特定机器人任务的量化策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知模型上,对比不同模型量化方法的量化效果

基准测试
Expert Systems Benchmark for Robotics
人工智能与机器人学研究社区

Expert Systems Benchmark for Robotics是机器人专家系统领域的权威基准测试,为专家系统算法的性能评估提供标准化的测试场景和评价指标。该基准测试由人工智能和机器人学研究社区共同制定,涵盖了故障诊断、任务规划、决策支持、智能控制等典型机器人应用场景。测试采用统一的问题集和评估协议,评估指标包括诊断准确率、规划质量、决策正确率、推理速度、知识库可扩展性等。该基准测试已成为机器人专家系统研究领域的标准评估工具,被大量学术论文引用,适用于机器人智能决策、故障诊断、自主系统等领域的算法评估和比较。

标准化任务测试+多场景评估+多指标量化

基准测试
Q-Learning Benchmark for Robotics
强化学习与机器人学研究社区

Q-Learning Benchmark for Robotics是机器人Q学习领域的权威基准测试,为Q学习算法及其深度扩展在机器人决策任务中的性能评估提供标准化的测试平台和评价指标。该基准测试由强化学习和机器人学交叉领域的研究社区共同制定,涵盖了机器人路径规划、任务调度、运动控制、多机器人协同等典型Q学习任务场景。测试采用统一的仿真环境和机器人模型,评估指标包括收敛速度、最终性能、学习稳定性、离散化精度、样本效率等。该基准测试已成为机器人Q学习研究领域的标准评估工具,被大量学术论文引用,适用于机器人Q学习、强化学习、智能决策等领域的算法评估和比较。

标准化仿真测试+多决策任务+多指标量化评估

基准测试
Robot Question Answering Benchmark for Robotics
CMU, Stanford, UW

Robot Question Answering Benchmark for Robotics是机器人问答系统领域的权威评测基准,由卡内基梅隆大学、斯坦福大学、华盛顿大学等机构联合开发,旨在标准化评估机器人问答系统的性能。该基准涵盖检索式问答、生成式问答、知识图谱问答、视觉问答、多模态问答五大核心维度,包含16个标准化测试任务和38个评估指标。测试任务包括事实性问答、推理性问答、视觉问答、多轮问答、情境问答等典型问答场景。评估指标包括答案准确率、F1分数、BLEU分数、ROUGE分数、响应时间、用户满意度、泛化能力等。该基准已在全球数百个研究机构和企业中使用,是机器人问答系统领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Deformable Object Manipulation Benchmark for Robotics
CMU, UC Berkeley, MIT

Deformable Object Manipulation Benchmark for Robotics是机器人可变形物体操作领域的权威评测基准,由卡内基梅隆大学、加州大学伯克利分校、麻省理工学院等机构联合开发,旨在标准化评估可变形物体操作系统的性能。该基准涵盖可变形物体建模、状态估计、操作规划、学习控制、仿真环境五大核心维度,包含18个标准化测试任务和45个评估指标。测试任务包括布料折叠、绳索打结、食品处理、医疗手术、材料测试等典型可变形物体操作场景。评估指标包括操作成功率、状态估计精度、规划效率、学习速度、仿真保真度、泛化能力、鲁棒性、计算效率等。该基准已在全球数百个研究机构中使用,是可变形物体操作领域最权威的评测基准之一,推动了可变形物体操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Goal-Conditioned RL Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Goal-Conditioned RL Benchmark for Robot Manipulation是一个面向机器人操作的目标条件化强化学习基准测试。该基准包含多种操作任务(抓取、推物、开门、堆叠等),提供了标准化的目标条件化训练和评估协议,支持不同目标表示方式的比较。基准测试了目标条件化SAC、目标条件化TD3、HER等方法在多目标学习性能、零样本泛化、样本效率方面的表现,评估指标包括目标达成率、未见目标泛化率、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化目标条件化训练与评估协议

基准测试
Robustness Benchmark for Robotics
国际机器人学习研究社区

Robustness Benchmark for Robotics是一个面向机器人系统的鲁棒性基准测试,系统评估感知鲁棒性、控制鲁棒性、决策鲁棒性、系统鲁棒性等多个维度在机器人操作、导航、感知等任务中的表现。基准测试使用统一的评估协议和模型,对比不同鲁棒性方法的性能退化、恢复能力、稳定性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的鲁棒性方案,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知任务上,对比不同鲁棒性方法的表现

基准测试
Fuzzy Logic Benchmark for Robotics
国际模糊系统与机器人学研究社区

Fuzzy Logic Benchmark for Robotics是机器人模糊逻辑领域的权威基准测试,为模糊逻辑算法的性能评估提供标准化的测试场景和评价指标。该基准测试由国际模糊系统和机器人学研究社区共同制定,涵盖了运动控制、路径规划、决策制定、传感器融合等典型机器人应用场景。测试采用统一的问题集和评估协议,评估指标包括控制精度、规划质量、决策准确率、推理速度、鲁棒性等。该基准测试已成为机器人模糊逻辑研究领域的标准评估工具,被大量学术论文引用,适用于机器人智能控制、不确定性处理、自主系统等领域的算法评估和比较。

标准化任务测试+多场景评估+多指标量化

基准测试
Continual Learning Benchmark for Robotics
机器人持续学习研究社区

Continual Learning Benchmark for Robotics是机器人持续学习领域的标准评测基准,涵盖灾难性遗忘、稳定性-可塑性权衡、任务边界检测、类增量学习等核心任务。基准提供机器人感知、控制、规划等多种任务的持续学习数据集,支持EWC、SI、LwF、Replay、PackNet等多种算法对比,集成不同任务序列和数据分布的实验设置。基准评测指标包括平均精度、遗忘度量、前向迁移、后向迁移、计算效率,支持不同任务数量、不同数据量、不同任务相似度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人持续学习研究的标准评测平台。

持续学习实验,对比不同算法在多任务序列上的遗忘和迁移性能

基准测试
NeRF for Robotics Benchmark
NeRF机器人应用研究社区

NeRF for Robotics Benchmark是神经辐射场(NeRF)在机器人领域应用研究社区维护的标准化评测基准,用于公平比较不同NeRF方法在机器人感知、规划、控制和仿真任务上的性能。基准涵盖NeRF场景重建、动态NeRF、语义NeRF、可微NeRF、NeRF-SLAM、3D高斯溅射等多种NeRF变体,包括3D场景重建、新视角合成、语义分割、目标检测、6D姿态估计、深度估计、路径规划、避障、抓取规划、可微仿真、Sim2Real迁移等多种机器人应用任务。基准提供了统一的数据集接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种数据集(Replica、ScanNet、7-Scenes、TUM RGB-D等)和机器人平台。

在统一数据集和机器人任务下运行各NeRF方法,记录重建质量、渲染速度、感知精度、规划成功率等指标,多次运行取平均值和标准差

基准测试
Online Fine-tuning Benchmark for Robot Policies
Stanford & CMU & Google Research

Online Fine-tuning Benchmark for Robot Policies是一个面向机器人策略在线微调的基准测试。该基准测试了在不同初始化策略(随机初始化、离线预训练、行为克隆)下,SAC、TD3、PPO等在线强化学习算法的微调性能,涵盖操作、导航、运动控制等任务。基准重点评估在线微调的样本效率、灾难性遗忘程度、对目标环境的适应速度,以及不同正则化方法(重要性采样、KL正则化、经验回放)的效果。来源机构包括Stanford、CMU、Google Research等。

标准化在线微调评估协议

基准测试
Data Cleaning Benchmark for Robotics
国际机器人学习研究社区

Data Cleaning Benchmark for Robotics是一个面向机器人学习的数据清洗基准测试,系统评估异常检测、噪声过滤、轨迹平滑、标签校正、数据去重等多种数据清洗方法在机器人操作数据集、导航数据集、感知数据集等场景中的效果。基准测试使用统一的评估协议,对比不同清洗方法对数据质量和模型性能的提升,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和数据工程师,帮助选择和设计适合特定数据集的清洗策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知数据集上,对比不同数据清洗方法的数据质量和模型性能提升

基准测试
Disaster Response Benchmark for Robotics
University of Tokyo & CMU

Disaster Response Benchmark是一个面向灾难响应机器人的基准测试套件,涵盖灾难侦察、废墟搜索、受害者救援、物资投送、环境清理等任务的标准化评估。该基准提供地震、海啸、核事故、化学泄漏等复杂灾难场景的仿真环境,支持对比不同机器人平台在灾难环境中的适应性。测试条件包括通信中断、结构坍塌、有害气体、余震等,评估指标包括任务成功率、自主决策能力、环境适应性、响应速度等。该基准适用于应急管理、灾难响应、公共安全等领域的算法评估,来源机构包括东京大学、CMU、MIT等。

多灾难场景+极端条件+多平台对比

基准测试
Model Interpretation Benchmark for Robotics
国际机器人学习研究社区

Model Interpretation Benchmark for Robotics是一个面向机器人学习的模型解释基准测试,系统评估基于梯度的解释、基于扰动的解释、基于示例的解释等多种模型解释方法在机器人操作、导航、感知等任务中的解释效果。基准测试使用统一的评估协议和模型,对比不同解释方法的归因准确性、解释完整性、用户信任度,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的模型解释方法,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知模型上,对比不同模型解释方法的效果

基准测试
Micro Manipulation Benchmark for Robotics
ETH Zurich & MIT Media Lab

Micro Manipulation Benchmark是一个面向机器人微操作的基准测试套件,涵盖微纳操作、生物细胞操作、微装配、微流体操作等微尺度任务的标准化评估。该基准提供机械微操作、光镊操作、磁操作、电操作等多种微操作方式的对比环境,支持评估不同微操作策略的性能。测试条件包括不同微尺度环境、操作对象尺寸、操作精度要求等,评估指标包括操作成功率、定位精度、操作速度、细胞存活率(生物操作)等。该基准适用于微纳机器人、生物医学工程、微纳制造等领域的算法评估,来源机构包括ETH、MIT、东京大学等。

多微操作方式+微尺度环境+多算法对比

基准测试
Open-vocabulary Manipulation Benchmark
开放词汇操作研究社区

Open-vocabulary Manipulation Benchmark是机器人开放词汇物体操作研究社区维护的标准化评测基准,用于公平比较不同开放词汇操作方法在各类任务上的语言理解、物体识别和操作性能。基准涵盖开放词汇检测与分割、语言条件操作、零样本/少样本操作、3D开放词汇操作、VLA模型等多种开放词汇操作范式,包括拾取放置(pick-and-place)、堆叠(stacking)、插入(insertion)、整理(tidying)、包装(packing)等多种操作任务,支持已知物体、相似物体、新物体等不同泛化级别。基准提供了统一的语言指令接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(RLBench、CALVIN、RoboCasa等)和真实机器人平台。

在统一语言指令和任务下运行各开放词汇操作方法,记录指令遵循成功率、物体识别准确率、操作成功率、零样本/少样本性能等指标,多次运行取平均值和标准差

基准测试
Cooperative Multi-Agent Benchmark for Robot Teams
Google Robotics & MIT & CMU

Cooperative Multi-Agent Benchmark for Robot Teams是一个专注于机器人团队协作的多智能体基准测试。该基准涵盖协作搬运、协作装配、集群搜索、多机器人巡逻等多种协作任务域,比较了不同协作算法(值分解、策略梯度、信用分配、角色分配)在机器人团队中的表现。基准还评估了智能体数量、部分可观测性、通信限制对协作性能的影响,分析了不同方法的可扩展性和鲁棒性。来源机构包括Google Robotics、MIT、CMU等。

标准化协作多智能体评估协议

基准测试
Options Framework Benchmark for Robot Learning
Google Research & Stanford & MIT

Options Framework Benchmark for Robot Learning是一个专注于机器人选项框架的基准测试。该基准涵盖操作、导航、运动控制等多种长时序任务域,比较了不同选项发现方法(聚类、变分推断、因果发现)和子目标生成策略在选项质量、学习效率、最终性能方面的表现。基准还评估了选项数量、选项时长、终止条件设计对层次策略性能的影响,分析了选项的可解释性和可迁移性。来源机构包括Google Research、Stanford、MIT等。

标准化选项框架评估协议

基准测试
State Representation Learning Benchmark for Robot Control
Google Research & Stanford & Montreal University

State Representation Learning Benchmark for Robot Control是一个专注于机器人状态表示学习的基准测试。该基准涵盖操作、导航、运动控制等多种视觉控制任务域,比较了不同状态表示学习方法(下一帧预测、逆动力学、对比预测编码、自动编码器)在表示质量和下游控制性能方面的表现。基准还评估了不同辅助任务组合、表示维度、训练数据量对表示学习效果的影响,分析了表示的解耦性、紧凑性、预测性等性质。来源机构包括Google Research、Stanford、Montreal大学等。

标准化状态表示学习评估协议

基准测试
Assembly Process Benchmark for Robotics
国际机器人制造研究社区

Assembly Process Benchmark for Robotics是一个面向机器人装配工艺的基准测试,系统评估人工装配、半自动装配、全自动装配、柔性装配等多种装配方式在工业机器人、协作机器人、人形机器人等产品制造中的装配效果。基准测试使用统一的评估协议和测试条件,对比不同装配方式的装配效率、装配精度、柔性程度、成本,提供详细的实验结果和分析报告。该基准测试适用于机器人制造研究者,帮助选择适合特定机器人产品的装配工艺,来源机构为国际机器人制造研究社区。

在统一的测试条件下,对比不同装配方式在机器人产品制造中的装配效果

基准测试
Data Synthesis Benchmark for Robotics
国际机器人学习研究社区

Data Synthesis Benchmark for Robotics是一个面向机器人学习的数据合成基准测试,系统评估仿真环境合成、procedural generation、域随机化、神经辐射场合成、3D高斯溅射合成等多种数据合成方法在机器人操作、导航、抓取等任务中的效果。基准测试使用统一的评估协议,对比不同合成方法的sim-to-real gap和数据效率,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的数据合成策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、抓取任务上,对比不同数据合成方法的sim-to-real性能

基准测试
Multi-Task RL Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Multi-Task RL Benchmark for Robot Manipulation是一个面向机器人操作的多任务强化学习基准测试。该基准包含10-50种操作任务(抓取、插入、开门、堆叠、推物等),提供了标准化的多任务训练和评估协议。基准测试了多任务PPO、多任务SAC、任务嵌入、目标条件化等方法的多任务学习性能,评估指标包括平均任务成功率、最差任务成功率、任务间性能方差、样本效率。来源机构包括Google Robotics、UC Berkeley等。

标准化多任务训练与评估协议

基准测试
Haptic Feedback Benchmark for Robotics
国际机器人触觉研究社区

Haptic Feedback Benchmark for Robotics是一个面向机器人力反馈的基准测试,系统评估力反馈、触觉反馈、振动反馈等方法在遥操作机器人、手术机器人、康复机器人、虚拟现实交互等场景中的反馈效果。基准测试使用统一的评估协议和任务集,对比不同反馈方法的反馈精度、响应速度、用户沉浸感、系统复杂度,提供详细的实验结果和分析报告。该基准测试适用于机器人触觉研究者,帮助选择和设计适合特定应用的力反馈方案,来源机构为国际机器人触觉研究社区。

在统一的力反馈任务上,对比不同反馈方法在机器人应用场景中的表现

基准测试
Smart Materials Benchmark for Robotics
国际机器人材料研究社区

Smart Materials Benchmark for Robotics是一个面向机器人智能材料的基准测试,系统评估形状记忆合金、电活性聚合物、压电材料、磁流变材料等多种智能材料在柔性执行器、传感器、变形结构等场景中的驱动和感知性能。基准测试使用统一的评估协议和测试条件,对比不同智能材料的响应速度、驱动应变、能量密度、控制精度,提供详细的实验结果和分析报告。该基准测试适用于机器人材料研究者,帮助选择适合特定机器人应用的智能材料,来源机构为国际机器人材料研究社区。

在统一的测试条件下,对比不同智能材料在机器人应用场景中的驱动和感知性能

基准测试
Energy Management Benchmark for Robotics
国际机器人学习研究社区

Energy Management Benchmark for Robotics是一个面向机器人能源管理的基准测试,系统评估能量感知规划、任务调度、电源管理、能耗优化等方法在移动机器人、无人机、工业机器人等平台中的能源管理效果。基准测试使用统一的评估协议和场景集,对比不同能源管理策略的续航时间、任务完成率、能耗效率,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的能源管理方案,来源机构为国际机器人学习研究社区。

在统一的移动机器人、无人机、工业机器人场景上,对比不同能源管理策略的效果

基准测试
Model Compression Benchmark for Robotics
国际机器人学习研究社区

Model Compression Benchmark for Robotics是一个面向机器人学习的模型压缩基准测试,系统评估参数剪枝、低秩分解、知识蒸馏、网络架构搜索、轻量化设计等多种模型压缩方法在机器人操作、导航、感知等任务中的压缩效果。基准测试使用统一的评估协议和模型,对比不同压缩方法的压缩率、精度损失、推理速度提升、内存占用减少,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和部署工程师,帮助选择适合特定机器人任务的压缩方法,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知模型上,对比不同模型压缩方法的压缩效果

基准测试
Policy Gradient Benchmark for Robotics
国际机器人强化学习研究社区

Policy Gradient Benchmark for Robotics是机器人策略梯度方法领域的权威基准测试,为策略梯度算法在机器人控制任务中的性能评估提供标准化的测试场景和评价体系。该基准测试由国际机器人强化学习研究社区共同制定,涵盖了机器人操作、运动控制、导航、多机器人协同等典型策略梯度任务场景。测试采用统一的仿真环境和机器人平台,评估指标包括收敛速度、最终性能、策略稳定性、超参数敏感性、样本效率等。该基准测试已成为机器人策略梯度研究领域的标准评估工具,被大量学术论文引用,适用于机器人策略梯度、强化学习、运动控制等领域的算法评估和比较。

标准化仿真测试+多控制任务+多指标量化评估

基准测试
Search and Rescue Benchmark for Robotics
CMU Robotics Institute & MIT CSAIL

Search and Rescue Benchmark是一个面向搜救机器人的基准测试套件,涵盖地面搜救、空中搜救、水下搜救等多种平台的标准化评估。该基准提供地震、火灾、洪水、矿难等灾难场景的仿真环境,支持对比不同搜救机器人平台在机动性、感知能力、续航能力和通信能力方面的表现。测试条件包括废墟环境、烟雾遮挡、通信中断、夜间作业等,评估指标包括受害者发现率、定位精度、搜索覆盖率、任务完成时间等。该基准适用于应急救援、灾难响应、公共安全等领域的算法评估,来源机构包括CMU、MIT、ETH等。

多灾难场景+环境干扰+多平台对比

基准测试
Robot Knowledge Representation Benchmark for Robotics
MIT, Stanford, Oxford

Robot Knowledge Representation Benchmark for Robotics是机器人知识表示领域的权威评测基准,由麻省理工学院、斯坦福大学、牛津大学等机构联合开发,旨在标准化评估机器人知识表示系统的性能。该基准涵盖符号表示、分布式表示、混合表示、知识图谱、本体论五大核心维度,包含18个标准化测试任务和42个评估指标。测试任务包括知识获取、知识推理、知识更新、知识查询、知识验证等典型知识表示场景。评估指标包括知识覆盖率、推理准确率、更新效率、查询速度、一致性、可扩展性、泛化能力等。该基准已在全球数百个研究机构中使用,是机器人知识表示领域最权威的评测基准之一,推动了机器人知识表示技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Soft Manipulation Benchmark for Robotics
Harvard Wyss, Stanford, MIT

Soft Manipulation Benchmark for Robotics是机器人软体操作领域的权威评测基准,由哈佛大学、斯坦福大学、麻省理工学院等机构联合开发,旨在标准化评估软体操作系统的性能。该基准涵盖软体抓手、软体臂、软体驱动、软体传感、软体控制五大核心维度,包含15个标准化测试任务和40个评估指标。测试任务包括软体抓取、软体操作、软体装配、软体护理、软体检测等典型软体操作场景。评估指标包括抓取成功率、操作精度、驱动响应速度、传感精度、控制稳定性、耐久性、安全性、能耗等。该基准已在全球数百个研究机构和企业中使用,是软体操作领域最权威的评测基准之一,推动了软体操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Long-horizon Task Planning Benchmark
长程任务规划研究社区

Long-horizon Task Planning Benchmark是机器人长程任务规划研究社区维护的标准化评测基准,用于公平比较不同长程任务规划方法在各类长程任务上的性能。基准涵盖分层规划、符号-神经规划、基于技能的规划、目标条件规划、基于搜索的规划、大语言模型规划等多种长程任务规划范式,包括家务任务(整理房间、做饭、清洁)、工业装配(复杂产品装配、多步骤制造)、服务机器人(多步骤客户服务、酒店服务)、自动驾驶(长途驾驶、复杂路况)等多种长程任务类型,任务长度从10步到100步以上。基准提供了统一的任务接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和真实机器人平台。

在统一长程任务下运行各规划方法,记录任务成功率、规划时间、步骤数、样本效率等指标,多次运行取平均值和标准差

基准测试
Meta-Learning Benchmark for Robotics
机器人元学习研究社区

Meta-Learning Benchmark for Robotics是机器人元学习领域的标准评测基准,涵盖少样本学习、快速适应、跨任务迁移、终身学习等核心任务。基准提供机器人操作、导航、抓取、人机交互等多种任务的元学习数据集,支持MAML/ProtoNet/Reptile/Meta-SGD等多种算法对比,集成仿真环境和真实机器人部署工具。基准评测指标包括少样本学习精度、适应速度、跨任务迁移能力、终身学习稳定性、计算效率,支持不同任务数量、不同样本数量、不同任务相似度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人元学习研究的标准评测平台。

少样本学习和快速适应实验,对比不同元学习算法在多种机器人任务上的性能

基准测试
Explainable AI Benchmark for Robotics
国际机器人学习研究社区

Explainable AI Benchmark for Robotics是一个面向机器人学习的可解释AI基准测试,系统评估特征归因、样本归因、概念解释、规则提取、原型解释等多种解释方法在机器人操作、导航、感知等任务中的解释效果。基准测试使用统一的评估协议和模型,对比不同解释方法的忠实性、稳定性、可理解性、计算效率,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的解释方法,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知模型上,对比不同可解释AI方法的解释效果

基准测试
Compliant Control Benchmark for Robotics
IIT & ETH Zurich

Compliant Control Benchmark是一个面向机器人柔顺控制的基准测试套件,涵盖被动柔顺、主动柔顺、变刚度控制、阻抗/导纳控制等柔顺控制策略的标准化评估。该基准提供安全人机交互、不确定环境操作、精密装配等应用场景,支持对比不同柔顺控制策略的性能特点。测试条件包括不同环境刚度、人机交互力、任务不确定性等,评估指标包括交互安全性、任务完成率、柔顺响应速度、能量效率等。该基准适用于人机协作、软体机器人、服务机器人等领域的算法评估,来源机构包括IIT、ETH、CMU等。

多应用场景+环境参数变化+多算法对比

基准测试
Robot Tool Use Benchmark
机器人工具使用研究社区

Robot Tool Use Benchmark是机器人工具使用研究社区维护的标准化评测基准,用于公平比较不同工具使用方法在各类任务上的性能。基准涵盖工具识别与选择、工具使用规划与控制、从演示中学习工具使用、即兴工具使用、多工具协同使用、工具制造与创新等多种工具使用能力,包括厨房任务(切菜、翻炒、搅拌)、手工任务(锤击、拧螺丝、锯木)、清洁任务(扫地、拖地、擦拭)、即兴工具使用(用任意物体完成任务)等多种任务类型。基准提供了统一的工具库和任务接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和真实机器人平台。

在统一工具库和任务下运行各方法,记录工具选择准确率、工具使用成功率、完成时间、样本效率等指标,多次运行取平均值和标准差

基准测试
Distributed Policy Training Benchmark for Robot Learning
OpenAI & Meta AI & Google Research

Distributed Policy Training Benchmark for Robot Learning是一个专注于机器人分布式策略训练的基准测试。该基准涵盖操作、导航、运动控制等多种机器人任务域,比较了不同分布式训练架构(参数服务器、环形通信、去中心化训练)在训练速度、扩展性、最终性能方面的表现。基准还评估了梯度压缩、通信优化、负载均衡等技术的效果,分析了计算资源、网络延迟对训练性能的影响。来源机构包括OpenAI、Meta AI、Google Research等。

标准化分布式策略训练评估协议

基准测试
Robot Safety Compliance Benchmark
国际机器人安全研究社区

Robot Safety Compliance Benchmark是一个面向机器人安全合规的基准测试,系统评估工业机器人、协作机器人、服务机器人等产品对ISO 10218、ISO/TS 15066、IEC 61508等安全标准的合规程度。基准测试使用统一的评估协议和测试场景,对比不同机器人产品的安全功能、风险控制、文档完整性,提供详细的实验结果和分析报告。该基准测试适用于机器人安全研究者和制造商,帮助评估和改进机器人产品的安全合规性,来源机构为国际机器人安全研究社区。

在统一的安全测试场景下,评估不同机器人产品的安全合规程度

基准测试
Model Deployment Benchmark for Robotics
国际机器人学习研究社区

Model Deployment Benchmark for Robotics是一个面向机器人学习的模型部署基准测试,系统评估TensorRT、ONNX Runtime、TorchScript、TFLite等多种部署框架在机器人操作、导航、感知等任务中的部署效果。基准测试使用统一的评估协议和模型,对比不同部署框架的推理速度、内存占用、模型精度损失、硬件适配性,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者和部署工程师,帮助选择适合特定机器人硬件平台的部署方案,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知模型上,对比不同部署框架的推理性能和精度损失

基准测试
Emergency Robotics Benchmark for Robotics
ETH Zurich & Imperial College

Emergency Robotics Benchmark是一个面向应急机器人的基准测试套件,涵盖消防、排爆、核应急、化学应急、医疗急救等多种应急场景的标准化评估。该基准提供火灾、爆炸、恐怖袭击、核泄漏、化学事故等紧急场景的仿真环境,支持对比不同应急机器人在防护等级、自主能力、操作精度和响应速度方面的表现。测试条件包括高温、辐射、有毒气体、爆炸风险等,评估指标包括任务成功率、防护能力、操作精度、响应时间等。该基准适用于应急救援、公共安全、工业安全等领域的算法评估,来源机构包括ETH、MIT、帝国理工等。

多应急场景+危险条件+多平台对比

基准测试
HomeRobot OVMM: Open-Vocabulary Mobile Manipulation Benchmark
CMU Meta AI

HomeRobot OVMM(Open-Vocabulary Mobile Manipulation)是卡内基梅隆大学等机构推出的开放词汇移动操作基准测试,旨在评估机器人在真实家庭环境中根据自然语言指令完成导航和操作任务的能力。该基准提供了标准化的仿真和真实实验设置,涵盖厨房、客厅等多个家庭场景,要求机器人在未知环境中根据开放词汇指令完成物体查找和摆放任务。HomeRobot OVMM已成为评估通用移动操作能力的标准基准之一,推动了VLA模型在长程家庭任务中的性能提升。

在标准化仿真和真实家庭环境中,机器人根据自然语言指令完成开放词汇导航和物体操作任务,评估任务完成率和路径效率。

任务成功率SPL导航指标操作完成率平均完成步数
基准测试
PandaSuite: 桌面机器人操作多任务基准评测
机器人研究社区

PandaSuite是面向Franka Panda机械臂的桌面操作多任务基准测试套件,包含抓取、堆叠、推块、插孔等十余项标准操作任务,采用统一的仿真环境和评测协议,用于衡量模仿学习、强化学习和人类视觉策略在长程操作任务上的性能。评测指标包括任务成功率、完成步数和泛化能力,适用于机器人操作算法对比和论文复现。

在MuJoCo仿真环境中部署Franka Panda机械臂,依次执行12项标准桌面操作任务,每个任务运行10次统计平均成功率

任务成功率平均完成步数泛化到未见物体的成功率
基准测试
Offline-to-Online RL Benchmark for Robot Manipulation
Google Robotics & UC Berkeley

Offline-to-Online RL Benchmark for Robot Manipulation是一个面向机器人操作的离线到在线强化学习基准测试。该基准包含多种操作任务(抓取、插入、开门、堆叠),提供了不同规模的离线数据集(1k、10k、100k条轨迹)和标准化的在线微调评估协议。基准测试了CQL、IQL、AWAC、BCQ等离线预训练算法与SAC、TD3等在线微调算法的组合性能,评估指标包括离线预训练性能、在线微调样本效率、最终渐近性能。来源机构包括Google Robotics、UC Berkeley等。

标准化离线预训练+在线微调评估协议

基准测试
Precision Machining Benchmark for Robotics
国际机器人制造研究社区

Precision Machining Benchmark for Robotics是一个面向机器人精密加工的基准测试,系统评估数控铣削、数控车削、磨削、电火花加工等多种精密加工技术在机器人减速器、伺服电机、关节模组等核心零部件制造中的加工效果。基准测试使用统一的评估协议和测试条件,对比不同加工技术的加工精度、表面质量、材料去除率、刀具寿命,提供详细的实验结果和分析报告。该基准测试适用于机器人制造研究者,帮助选择适合特定机器人零部件的精密加工技术,来源机构为国际机器人制造研究社区。

在统一的测试条件下,对比不同精密加工技术在机器人核心零部件制造中的加工效果

基准测试
Data Augmentation Benchmark for Robotics
国际机器人学习研究社区

Data Augmentation Benchmark for Robotics是一个面向机器人学习的数据增强基准测试,系统评估图像增强、点云增强、轨迹增强、力觉数据增强等多种数据增强方法在机器人操作、导航、感知等任务中的效果。基准测试使用统一的评估协议和数据集,对比不同增强方法对样本效率、泛化能力和鲁棒性的影响,提供详细的实验结果和分析报告。该基准测试适用于机器人学习研究者,帮助选择和设计适合特定任务的数据增强策略,来源机构为国际机器人学习研究社区。

在统一的机器人操作、导航、感知任务上,对比不同数据增强方法的模型性能提升

基准测试
Contact-rich Manipulation Benchmark for Robotics
MIT CSAIL & CMU Robotics Institute

Contact-rich Manipulation Benchmark是一个面向机器人接触丰富操作的基准测试套件,涵盖装配、插入、抛光、打磨等接触密集型任务。该基准提供标准化的任务定义、评估指标和仿真环境,支持对比基于模型的方法与基于学习的方法在接触丰富场景中的性能。测试条件包括不同接触刚度、摩擦系数、定位误差等参数变化,评估指标包括任务成功率、完成时间、力跟踪精度、接触稳定性等。该基准适用于机器人操作、工业自动化、精密装配等领域的算法评估,来源机构包括MIT、CMU等顶尖机器人实验室。

标准化任务定义+仿真环境+多算法对比

基准测试
Deformable Object Manipulation Benchmark
可变形物体操作研究社区

Deformable Object Manipulation Benchmark是机器人可变形物体操作研究社区维护的标准化评测基准,用于公平比较不同可变形物体操作方法在各类任务上的性能。基准涵盖布料操作(折叠、展开、悬挂)、绳索操作(打结、解结、缠绕)、流体操作(倾倒、混合、搅拌)、弹性体操作(揉捏、拉伸、切割)、颗粒材料操作(挖掘、倾倒、分类)等多种可变形物体类型和任务。基准提供了统一的仿真环境接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真引擎(MuJoCo、PyBullet、SOFA、DiffTaichi等)和真实机器人平台。

在统一任务和仿真环境下运行各方法,记录操作成功率、完成时间、状态误差、样本效率等指标,多次运行取平均值和标准差

基准测试
Teleoperation Benchmark for Robotics
国际机器人遥操作研究社区

Teleoperation Benchmark for Robotics是一个面向机器人遥操作的基准测试,系统评估主从遥操作、共享自主遥操作、监督控制遥操作等方法在核工业机器人、医疗手术机器人、太空机器人、深海机器人等场景中的操作效果。基准测试使用统一的评估协议和任务集,对比不同遥操作方法的操作精度、响应延迟、用户负担、系统稳定性,提供详细的实验结果和分析报告。该基准测试适用于机器人遥操作研究者,帮助选择和设计适合特定应用的遥操作方案,来源机构为国际机器人遥操作研究社区。

在统一的遥操作任务上,对比不同遥操作方法在机器人应用场景中的表现

基准测试
Soft Materials Benchmark for Robotics
国际机器人材料研究社区

Soft Materials Benchmark for Robotics是一个面向机器人软材料的基准测试,系统评估弹性体、水凝胶、硅胶、聚氨酯、复合材料等多种软材料在软体机器人、柔性执行器、可穿戴机器人等场景中的性能表现。基准测试使用统一的评估协议和测试条件,对比不同软材料的弹性模量、拉伸强度、断裂伸长率、疲劳寿命,提供详细的实验结果和分析报告。该基准测试适用于机器人材料研究者,帮助选择适合特定机器人应用的软材料,来源机构为国际机器人材料研究社区。

在统一的测试条件下,对比不同软材料在机器人应用场景中的力学性能

基准测试
Deep RL Benchmark for Robotics
国际机器人学习研究社区

Deep RL Benchmark for Robotics是机器人深度强化学习领域的权威基准测试,为深度强化学习算法在机器人任务中的性能评估提供标准化的测试平台和评价指标。该基准测试由国际机器人学习研究社区共同制定,涵盖了机器人操作、导航、运动控制、移动操作等典型深度强化学习任务场景。测试采用统一的仿真环境和机器人模型,评估指标包括样本效率、最终性能、学习稳定性、渐近性能、数据效率等。该基准测试已成为机器人深度强化学习研究领域的标准评估工具,被大量学术论文引用,适用于机器人深度强化学习、智能控制、自主决策等领域的算法评估和比较。

标准化仿真测试+多任务场景+多指标量化评估

基准测试
Natural Language Interaction Benchmark for Robotics
Stanford, MIT, CMU

Natural Language Interaction Benchmark for Robotics是机器人自然语言交互领域的权威评测基准,由斯坦福大学、麻省理工学院、卡内基梅隆大学等机构联合开发,旨在标准化评估机器人自然语言交互系统的性能。该基准涵盖指令理解、对话管理、语义解析、知识grounding、多轮交互五大核心维度,包含20个标准化测试任务和48个评估指标。测试任务包括单指令执行、多指令序列、歧义指令处理、上下文理解、反馈修正等典型自然语言交互场景。评估指标包括指令理解准确率、任务完成率、对话成功率、响应时间、用户满意度、泛化能力、鲁棒性等。该基准已在全球数百个研究机构和企业中使用,是机器人自然语言交互领域最权威的评测基准之一。

标准化测试任务+多维度评估指标

基准测试
Wearable Interfaces Benchmark for Robotics
University of Tokyo, Osaka University, Kyoto University

Wearable Interfaces Benchmark for Robotics是机器人可穿戴接口领域的权威评测基准,由东京大学、大阪大学、京都大学等机构联合开发,旨在标准化评估机器人可穿戴接口系统的性能。该基准涵盖数据手套、运动捕捉服、肌电臂环、脑机接口、触觉反馈装置五大核心维度,包含18个标准化测试任务和45个评估指标。测试任务包括手势识别、运动捕捉、肌电控制、脑机控制、触觉反馈等典型可穿戴接口场景。评估指标包括识别准确率、信号质量、延迟、佩戴舒适性、校准时间、长期稳定性、电池续航、用户满意度等。该基准已在全球数百个研究机构中使用,是可穿戴接口领域最权威的评测基准之一,推动了机器人可穿戴接口技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Causal Reasoning Benchmark for Robotics
机器人因果推理研究社区

Causal Reasoning Benchmark for Robotics是机器人因果推理领域的标准评测基准,涵盖因果发现、因果推断、反事实推理、因果强化学习等核心任务。基准提供机器人感知、规划、控制、决策、人机交互等多种任务的因果推理数据集,支持结构因果模型建模和do-calculus计算评估,集成干预实验设计和反事实推理工具。基准评测指标包括因果发现准确率、因果推断误差、反事实推理合理性、干预效果预测精度、计算效率,支持不同观测数据量、不同干预数据量、不同任务复杂度的实验设置。基准由多所高校和研究机构联合维护,已成为机器人因果推理研究的标准评测平台。

因果发现和因果推断实验,评估不同算法在多种机器人任务上的性能

基准测试
Scene Reconstruction Benchmark for Robotics
TUM & MIT CSAIL

Scene Reconstruction Benchmark是一个面向机器人场景重建的基准测试套件,涵盖三维重建、SLAM、NeRF、3D高斯溅射、场景图生成等重建算法的标准化评估。该基准提供多种机器人应用场景(室内导航、室外建图、工业数字孪生、人机交互),支持对比不同重建方法在精度、效率、可扩展性和实时性方面的表现。测试条件包括动态物体、光照变化、纹理缺失、大尺度场景、传感器噪声等,评估指标包括重建精度、完整性、推理速度、内存占用等。该基准适用于机器人视觉、SLAM、三维重建、数字孪生等领域的算法评估,来源机构包括慕尼黑工业大学、MIT、谷歌等。

多应用场景+环境条件+多算法对比

基准测试
Contact-rich Manipulation Benchmark
机器人接触丰富操作研究社区

Contact-rich Manipulation Benchmark是机器人接触丰富操作研究社区维护的标准化评测基准,用于公平比较不同接触操作方法在各类接触丰富任务上的操作成功率、接触力控制精度和样本效率。基准涵盖接触规划、接触控制、学习型接触操作等多种方法范式,包括装配(孔轴装配/卡扣装配)、擦拭(桌面擦拭/窗户清洁)、切削(食材切割/材料加工)、挖掘(土壤挖掘/颗粒材料操作)、折叠(衣物折叠/纸张折叠)等多种接触丰富任务类型。基准提供了统一的接触模型接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(MuJoCo、PyBullet、Drake、Gazebo等)和真实机器人平台。

在统一接触模型和任务下运行各接触操作方法,记录操作成功率、接触力控制精度、完成时间、样本效率等指标,多次运行取平均值和标准差

基准测试
GR00T: A Foundation Model for Humanoid Robots
具身智能资料库

GR00T是一个人形机器人基础模型基准测试,由NVIDIA公司开发,包含多个人形机器人任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估人形机器人基础模型在人形机器人任务上的性能,是具身智能和人形机器人领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
PI-0: Physical Intelligence Zero
具身智能资料库

PI-0是一个具身智能VLA模型基准测试,由Physical Intelligence公司开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估VLA模型在机器人操作任务上的性能,是具身智能和VLA模型领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Hazardous Environment Benchmark for Robotics
MIT CSAIL & JAEA

Hazardous Environment Benchmark是一个面向危险环境机器人的基准测试套件,涵盖核环境、化工环境、矿山、水下、太空等多种危险场景的标准化评估。该基准提供辐射、高温、高压、有毒、缺氧等极端环境的仿真条件,支持对比不同机器人平台在防护设计、感知能力、操作能力和续航能力方面的表现。测试条件包括高辐射、极端温度、高压、有毒气体、低能见度等,评估指标包括任务成功率、防护能力、操作精度、续航时间等。该基准适用于核工业、化工、矿业、深海探测等领域的算法评估,来源机构包括MIT、CMU、JAEA等。

多危险场景+极端环境+多平台对比

基准测试
Hindsight Experience Replay Benchmark for Robot Learning
OpenAI & Montreal University & Google Research

Hindsight Experience Replay Benchmark for Robot Learning是一个专注于机器人后见之明经验回放的基准测试。该基准涵盖操作、导航、运动控制等多种稀疏奖励机器人任务,比较了不同HER重标记策略(final、future、episode、random)与不同基础算法(SAC、TD3、DDPG)组合的性能。基准还评估了HER在不同奖励稀疏度、目标分布、环境复杂度下的鲁棒性,分析了重标记比例对样本效率和最终性能的影响。来源机构包括OpenAI、Montreal大学、Google Research等。

标准化HER评估协议

基准测试
Brain-Computer Interface Benchmark for Robotics
国际机器人人机交互研究社区

Brain-Computer Interface Benchmark for Robotics是一个面向机器人脑机接口的基准测试,系统评估运动想象脑机接口、P300脑机接口、SSVEP脑机接口等方法在辅助机器人控制、康复机器人训练、遥操作机器人控制等场景中的控制效果。基准测试使用统一的评估协议和数据集,对比不同接口方法的信息传输率、分类准确率、用户舒适度,提供详细的实验结果和分析报告。该基准测试适用于机器人人机交互研究者,帮助选择和设计适合特定应用的脑机接口方案,来源机构为国际机器人人机交互研究社区。

在统一的脑机接口控制任务上,对比不同接口方法在机器人应用场景中的表现

基准测试
Force Control Benchmark for Robotics
ETH Zurich & MIT CSAIL

Force Control Benchmark是一个面向机器人力控制的基准测试套件,涵盖阻抗控制、导纳控制、力/位混合控制、自适应力控等力控算法的标准化评估。该基准提供多种力控任务场景(装配、打磨、抛光、人机协作),支持对比不同力控架构的稳定性、鲁棒性和实现复杂度。测试条件包括不同接触环境、扰动注入、传感器噪声等,评估指标包括力跟踪误差、超调量、稳定时间、鲁棒性边界等。该基准适用于机器人控制、工业自动化、人机协作等领域的算法评估,来源机构包括ETH、MIT、东京大学等。

多任务场景+扰动注入+多算法对比

基准测试
Privacy Protection Benchmark for Robotics
国际机器人隐私研究社区

Privacy Protection Benchmark for Robotics是一个面向机器人隐私保护的基准测试,系统评估数据最小化、匿名化、差分隐私、联邦学习等隐私保护方法在服务机器人、医疗机器人、家庭机器人等场景中的隐私保护效果。基准测试使用统一的评估协议和数据集,对比不同隐私保护方法的隐私保护强度、计算开销、数据可用性,提供详细的实验结果和分析报告。该基准测试适用于机器人隐私研究者,帮助选择和设计适合特定机器人应用的隐私保护方案,来源机构为国际机器人隐私研究社区。

在统一的机器人应用场景下,对比不同隐私保护方法的隐私保护效果

基准测试
Manipulation Planning Benchmark for Robotics
CMU, MIT, Stanford

Manipulation Planning Benchmark for Robotics是机器人操作规划领域的权威评测基准,由卡内基梅隆大学、麻省理工学院、斯坦福大学等机构联合开发,旨在标准化评估操作规划系统的性能。该基准涵盖采样规划、优化规划、搜索规划、学习规划、任务与运动规划五大核心维度,包含16个标准化测试任务和40个评估指标。测试任务包括单步操作规划、多步操作规划、接触丰富操作规划、动态环境规划、长程任务规划等典型操作规划场景。评估指标包括规划成功率、规划时间、轨迹质量、约束满足率、内存占用、可扩展性、鲁棒性、泛化能力等。该基准已在全球数百个研究机构中使用,是操作规划领域最权威的评测基准之一,推动了机器人操作规划技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Model Predictive Control Benchmark for Robotics
机器人MPC研究社区

Model Predictive Control Benchmark for Robotics(MPC Benchmark)是机器人模型预测控制研究社区维护的标准化评测基准,用于公平比较不同MPC方法在各类机器人任务上的控制性能、计算效率和鲁棒性。基准涵盖线性MPC、非线性MPC(NMPC)、学习型MPC、鲁棒MPC、随机MPC等多种MPC范式,包括机械臂操作、移动机器人导航、人形机器人运动、无人机控制、自动驾驶等多种任务类型。基准提供了统一的系统模型接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(MuJoCo、PyBullet、Gazebo、ROS等)和真实机器人平台。

在统一系统模型和任务下运行各MPC方法,记录控制性能、计算效率、约束满足度、鲁棒性等指标,多次运行取平均值和标准差

基准测试
Collective Robotics Benchmark for Robotics
集体机器人学研究社区

Collective Robotics Benchmark for Robotics是集体机器人学领域的权威基准测试,为集体机器人系统的算法性能评估提供标准化的测试平台和评价指标。该基准测试由集体机器人学研究社区共同制定,涵盖了协同感知、协同决策、协同操作、协同学习等典型集体任务。测试采用统一的仿真环境和机器人平台,评估指标包括集体效率、协同精度、学习速度、系统可扩展性、容错性等。该基准测试已成为集体机器人学研究领域的标准评估工具,被大量学术论文引用,适用于集体机器人、群体智能、协同系统等领域的算法评估和比较。

标准化仿真测试+多集体任务+多指标量化评估

基准测试
Additive Manufacturing Benchmark for Robotics
国际机器人制造研究社区

Additive Manufacturing Benchmark for Robotics是一个面向机器人增材制造的基准测试,系统评估熔融沉积成型、光固化成型、选择性激光烧结、选择性激光熔化等多种3D打印技术在机器人结构件、执行器、传感器等零部件制造中的性能表现。基准测试使用统一的评估协议和测试条件,对比不同打印技术的成型精度、表面质量、力学性能、生产效率,提供详细的实验结果和分析报告。该基准测试适用于机器人制造研究者,帮助选择适合特定机器人零部件的增材制造技术,来源机构为国际机器人制造研究社区。

在统一的测试条件下,对比不同3D打印技术在机器人零部件制造中的性能表现

基准测试
Shared Control Benchmark for Robotics
ETH Zurich, TUM, TU Delft

Shared Control Benchmark for Robotics是机器人共享控制领域的权威评测基准,由苏黎世联邦理工学院、慕尼黑工业大学、代尔夫特理工大学等机构联合开发,旨在标准化评估机器人共享控制系统的性能。该基准涵盖直接共享、仲裁共享、自主共享、自适应共享、学习型共享五大核心维度,包含12个标准化测试任务和35个评估指标。测试任务包括轮椅导航、机械臂操作、无人机控制、远程操作、康复训练等典型共享控制场景。评估指标包括任务完成率、控制效率、用户干预次数、权限切换频率、认知负荷、用户满意度、错误恢复能力、学习曲线等。该基准已在全球数百个研究机构中使用,是共享控制领域最权威的评测基准之一,推动了机器人共享控制技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Predictive Maintenance Benchmark for Robots
机器人预测性维护研究社区

Predictive Maintenance Benchmark for Robots是机器人预测性维护领域的标准评测基准,涵盖故障诊断、剩余寿命预测、维护决策优化等核心任务。基准提供工业机器人、协作机器人、移动机器人、无人机等多种机器人的传感器数据集,支持基于机器学习/深度学习/物理模型/混合模型的故障诊断算法对比,集成数字孪生和仿真验证工具。基准评测指标包括故障诊断准确率、剩余寿命预测误差、误报率、漏报率、维护成本节约,支持不同故障类型、不同传感器配置、不同数据量的实验设置。基准由多家工业自动化公司和研究机构联合维护,已成为机器人预测性维护研究的标准评测平台。

故障诊断和剩余寿命预测实验,对比不同算法在多种机器人数据集上的性能

基准测试
Image Segmentation Benchmark for Robotics
Meta AI & MIT CSAIL

Image Segmentation Benchmark是一个面向机器人图像分割的基准测试套件,涵盖语义分割、实例分割、全景分割、视频分割等分割算法的标准化评估。该基准提供多种机器人应用场景(工业检测、医疗影像、自动驾驶、农业机器人),支持对比传统方法与深度学习方法在分割精度、效率和泛化能力方面的表现。测试条件包括不同光照、遮挡、小目标、边界模糊、域偏移等,评估指标包括mIoU、Dice系数、推理速度、边界精度等。该基准适用于机器人视觉、场景理解、自主系统等领域的算法评估,来源机构包括Meta AI、MIT、牛津大学等。

多应用场景+干扰条件+多算法对比

基准测试
World Models Benchmark for Robotics
机器人世界模型研究社区

World Models Benchmark for Robotics是机器人世界模型研究社区维护的标准化评测基准,用于公平比较不同世界模型在各类机器人任务上的预测精度、规划性能和样本效率。基准涵盖基于模型的强化学习(Dyna/PETS/MBPO)、潜空间世界模型(Dreamer/PlaNet)、基于Transformer的世界模型、基于扩散模型的世界模型等多种世界模型范式,包括机器人操作、运动控制、导航、自动驾驶、游戏AI等多种任务类型。基准提供了统一的环境接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(OpenAI Gym、MuJoCo、PyBullet、DeepMind Control Suite、Atari等)。

在统一环境和训练预算下运行各世界模型方法,记录预测精度、规划成功率、样本效率、最终性能等指标,多次运行取平均值和标准差

基准测试
Precision Assembly Benchmark for Robotics
MIT CSAIL & Fraunhofer IPA

Precision Assembly Benchmark是一个面向机器人精密装配的基准测试套件,涵盖高精度定位、微装配、柔性装配、基于力控的装配、基于视觉的装配等任务的标准化评估。该基准提供电子制造、汽车工业、航空航天等领域的典型装配任务,支持对比传统方法与学习型方法在精密装配中的表现。测试条件包括不同公差等级、零件材料、装配速度等,评估指标包括装配成功率、定位精度、循环时间、缺陷率等。该基准适用于工业机器人、智能制造、精密制造等领域的算法评估,来源机构包括MIT、Fraunhofer、ABB研究院等。

多行业装配任务+公差等级变化+多算法对比

基准测试
Multi-Task Policy Benchmark for Robot Learning
DeepMind & MIT & Stanford

Multi-Task Policy Benchmark for Robot Learning是一个专注于机器人多任务策略学习的基准测试。该基准涵盖操作、导航、运动控制等多种机器人任务域,比较了不同多任务策略架构(共享骨干+任务头、FiLM、交叉注意力、任务嵌入)在多任务学习性能、参数效率、推理速度方面的表现。基准还评估了多任务策略在任务数量扩展时的可扩展性,以及在不同任务分布下的鲁棒性。来源机构包括DeepMind、MIT、Stanford等。

标准化多任务策略评估协议

基准测试
Intent Recognition Benchmark for Robotics
Oxford, Imperial College, Cambridge

Intent Recognition Benchmark for Robotics是机器人意图识别领域的权威评测基准,由牛津大学、帝国理工学院、剑桥大学等机构联合开发,旨在标准化评估机器人意图识别系统的性能。该基准涵盖基于运动学、基于生物学信号、基于学习、基于多模态融合、基于上下文五大核心维度,包含15个标准化测试任务和40个评估指标。测试任务包括动作预测、手势识别、运动意图解码、抓取意图识别、导航意图预测等典型意图识别场景。评估指标包括识别准确率、识别延迟、假阳性率、假阴性率、跨用户泛化能力、跨场景泛化能力、鲁棒性、计算效率等。该基准已在全球数百个研究机构中使用,是意图识别领域最权威的评测基准之一,推动了机器人意图识别技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Edge Computing Benchmark for Robotics
机器人边缘计算研究社区

Edge Computing Benchmark for Robotics是机器人边缘计算领域的标准评测基准,涵盖任务卸载、资源分配、延迟优化、能耗管理等核心任务。基准提供自动驾驶、工业机器人、服务机器人、无人机等多种场景的边缘计算数据集,支持云-边-端协同计算架构评估,集成实时推理和模型压缩工具。基准评测指标包括推理延迟、吞吐量、能耗、任务完成率、系统稳定性,支持不同计算资源、不同网络条件、不同任务负载的实验设置。基准由多家科技公司和研究机构联合维护,已成为机器人边缘计算研究的标准评测平台。

云-边-端协同计算实验,评估不同任务卸载策略和资源分配算法的性能

基准测试
Facial Expression Recognition Benchmark for Robotics
国际机器人人机交互研究社区

Facial Expression Recognition Benchmark for Robotics是一个面向机器人表情识别的基准测试,系统评估基本表情识别、微表情识别、三维表情识别、多模态表情识别等方法在服务机器人情感交互、医疗机器人心理评估、教育机器人学习反馈等场景中的识别效果。基准测试使用统一的评估协议和数据集,对比不同识别方法的准确率、实时性、鲁棒性,提供详细的实验结果和分析报告。该基准测试适用于机器人人机交互研究者,帮助选择和设计适合特定应用的表情识别方案,来源机构为国际机器人人机交互研究社区。

在统一的表情识别任务上,对比不同识别方法在机器人应用场景中的表现

基准测试
Preference Learning Benchmark for Robotics
机器人偏好学习研究社区

Preference Learning Benchmark for Robotics是机器人偏好学习研究社区维护的标准化评测基准,用于公平比较不同偏好学习算法在各类机器人任务上的反馈效率和策略对齐性能。基准涵盖基于偏好的强化学习(成对比较/排名/评分)、基于人类反馈的强化学习(RLHF)、主动偏好学习、协同偏好学习等多种偏好学习范式,包括机器人操作、自动驾驶、辅助机器人、对话系统、游戏AI等多种任务类型。基准提供了统一的偏好反馈生成接口(合成人类反馈/真实人类反馈)、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和真实机器人平台。

在固定偏好反馈预算下运行各偏好学习算法,记录学习曲线、最终性能、反馈效率、对齐度等指标,多次运行取平均值和标准差

基准测试
Robot Ethics Benchmark
国际机器人伦理研究社区

Robot Ethics Benchmark是一个面向机器人伦理的基准测试,系统评估机器人道德决策、价值对齐、公平性、透明度等伦理能力在自动驾驶、医疗机器人、服务机器人等场景中的表现。基准测试使用统一的评估协议和伦理困境场景集,对比不同伦理决策算法的决策一致性、公平性、可解释性,提供详细的实验结果和分析报告。该基准测试适用于机器人伦理研究者,帮助评估和改进机器人系统的伦理决策能力,来源机构为国际机器人伦理研究社区。

在统一的伦理困境场景下,对比不同伦理决策算法的决策表现

基准测试
Visual Tracking Benchmark for Robotics
Oxford VGG & ETH Zurich

Visual Tracking Benchmark是一个面向机器人视觉跟踪的基准测试套件,涵盖目标跟踪、姿态跟踪、运动跟踪、多目标跟踪等跟踪算法的标准化评估。该基准提供多种跟踪任务场景(机械臂操作、移动机器人导航、人机交互、自动驾驶),支持对比传统方法与深度学习方法在跟踪精度、鲁棒性和实时性方面的表现。测试条件包括遮挡、尺度变化、光照变化、快速运动、目标丢失等,评估指标包括成功率、精度、跟踪速度、鲁棒性得分等。该基准适用于机器人视觉、自主系统、人机交互等领域的算法评估,来源机构包括牛津大学、ETH、CMU等。

多任务场景+干扰条件+多算法对比

基准测试
Self-Organizing Robotics Benchmark for Robotics
复杂系统与机器人学研究社区

Self-Organizing Robotics Benchmark for Robotics是自组织机器人系统领域的权威基准测试,为自组织算法的性能评估提供标准化的测试场景和评价体系。该基准测试由复杂系统与机器人学交叉领域的研究社区共同制定,涵盖了自组装、形态发生、自修复、自适应、涌现行为等典型自组织任务。测试采用统一的仿真环境和模块化机器人模型,评估指标包括自组织速度、形态精度、自修复能力、适应性、系统鲁棒性等。该基准测试已成为自组织机器人系统研究领域的标准评估工具,被大量学术论文引用,适用于自组织系统、复杂系统、模块化机器人等领域的算法评估和比较。

标准化仿真测试+多自组织任务+多指标量化评估

基准测试
Robotic Manipulation Benchmark for Robotics
MIT, CMU, Stanford

Robotic Manipulation Benchmark for Robotics是机器人操作领域的权威评测基准,由麻省理工学院、卡内基梅隆大学、斯坦福大学等机构联合开发,旨在标准化评估机器人操作系统的性能。该基准涵盖操作建模、操作感知、操作规划、操作控制、操作学习五大核心维度,包含22个标准化测试任务和50个评估指标。测试任务包括推、拉、插、拧、折叠等典型操作场景。评估指标包括操作成功率、操作精度、操作速度、力控精度、感知精度、规划效率、控制稳定性、泛化能力等。该基准已在全球数百个研究机构和企业中使用,是机器人操作领域最权威的评测基准之一,推动了机器人操作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

数据集评测
DROID: Large-Scale In-The-Wild Robot Manipulation Dataset Evaluation
DROID Collaboration

DROID是一个大规模真实世界机器人操作数据集,收录了1万+条机器人演示轨迹,涵盖不同场景、物体和任务类型。该评测基于DROID数据集,对比了BC、Diffusion Policy、VLA等不同策略学习方法在跨场景泛化和零样本迁移上的表现。评测使用统一的数据分割和评估协议,测量策略在未见场景和新物体上的成功率。DROID数据集评测为机器人操作学习领域提供了重要的跨场景泛化基准,推动了从实验室到真实世界的机器人策略开发。

在DROID数据集上训练策略,在held-out场景和物体上评估成功率

基准测试
Inverse Reinforcement Learning Benchmark
逆强化学习研究社区

Inverse Reinforcement Learning Benchmark(IRL Benchmark)是逆强化学习研究社区维护的标准化评测基准,用于公平比较不同IRL算法在各类任务上的奖励函数恢复和策略学习性能。基准涵盖经典IRL(线性规划IRL、最大边际IRL)、最大熵IRL(MaxEnt IRL、引导成本学习)、深度IRL(深度MaxEnt IRL、GAIL)、贝叶斯IRL等多种IRL范式,包括网格世界、自动驾驶、机器人操作、运动控制、游戏AI等多种任务类型。基准提供了统一的专家演示生成接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(OpenAI Gym、MuJoCo、PyBullet、Atari等)。

在统一任务和专家演示下运行各IRL算法,记录奖励函数恢复精度、策略匹配度、特征期望匹配度等指标,多次运行取平均值和标准差

基准测试
Offline Pretraining Benchmark for Robot Learning
DeepMind & MIT & Oxford

Offline Pretraining Benchmark for Robot Learning是一个专注于机器人离线预训练的基准测试。该基准涵盖了操作、导航、运动控制等多种机器人任务,提供了多样化的离线数据集(专家演示、次优数据、混合质量数据),评估了CQL、IQL、TD3+BC、BEAR、BRAC等主流离线强化学习算法的性能。基准测试关注离线策略的泛化能力、对数据质量的鲁棒性、以及作为在线微调初始化的效果。评估指标包括离线任务成功率、Q值准确性、分布外泛化能力。来源机构包括DeepMind、MIT、Oxford等。

标准化离线强化学习评估协议

基准测试
Visual Servoing Benchmark for Robotics
INRIA & MIT CSAIL

Visual Servoing Benchmark是一个面向机器人视觉伺服的基准测试套件,涵盖基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)、混合视觉伺服(HBVS)等算法的标准化评估。该基准提供多种视觉伺服任务场景(抓取、跟踪、对准、装配),支持对比不同视觉伺服架构的稳定性、鲁棒性和实现复杂度。测试条件包括不同光照条件、遮挡、相机标定误差、目标运动等,评估指标包括跟踪误差、收敛时间、稳定性裕度、任务成功率等。该基准适用于机器人视觉、机械臂控制、自主系统等领域的算法评估,来源机构包括INRIA、MIT、ETH等。

多任务场景+环境参数变化+多算法对比

基准测试
Human-Robot Collaboration Benchmark for Robotics
MIT CSAIL, Stanford, CMU

Human-Robot Collaboration Benchmark for Robotics是机器人人机协作领域的权威评测基准,由麻省理工学院、斯坦福大学、卡内基梅隆大学等机构联合开发,旨在标准化评估人机协作系统的性能。该基准涵盖协作安全、意图识别、共享控制、自然交互、协作学习五大核心维度,包含20个标准化测试任务和50个评估指标。测试任务包括协作装配、协作搬运、协作抛光、协作焊接、协作护理等典型人机协作场景。评估指标包括任务完成时间、协作效率、安全违规次数、意图识别准确率、控制切换平滑度、交互自然度、用户满意度、学习曲线等。该基准已在全球数百个研究机构和企业中使用,是人机协作领域最权威的评测基准之一,推动了人机协作技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Federated Learning Benchmark for Robotics
机器人联邦学习研究社区

Federated Learning Benchmark for Robotics是机器人联邦学习领域的标准评测基准,涵盖多机器人协同学习、隐私保护训练、通信效率优化等核心任务。基准提供机器人感知、控制、规划等多种任务的联邦学习数据集,支持FedAvg/FedProx/FedNova/SCAFFOLD等多种算法对比,集成差分隐私、安全聚合等隐私保护机制评估。基准评测指标包括模型精度、通信开销、收敛速度、隐私保护强度、系统可扩展性,支持不同数量机器人、不同数据异构程度、不同网络条件的实验设置。基准由多所高校和研究机构联合维护,已成为机器人联邦学习研究的标准评测平台。

多机器人联邦学习实验,对比不同算法在感知/控制/规划任务上的性能

基准测试
Curriculum Learning Benchmark for Robotics
机器人课程学习研究社区

Curriculum Learning Benchmark for Robotics是机器人课程学习研究社区维护的标准化评测基准,用于公平比较不同课程学习算法在各类机器人任务上的学习效率和最终性能。基准涵盖手动课程、自动课程、教师-学生框架、自步学习、目标条件课程等多种课程学习范式,包括机器人操作(抓取、插入、倒水等)、机器人运动(行走、跑步、跳跃等)、机器人导航(点到点导航、避障导航等)、多智能体协作等多种任务类型。基准提供了统一的任务接口、标准化的课程评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和课程学习算法。

在统一任务下运行各课程学习算法,记录学习曲线、最终性能、样本效率、课程质量等指标,多次运行取平均值和标准差

基准测试
Gesture Recognition Benchmark for Robotics
国际机器人人机交互研究社区

Gesture Recognition Benchmark for Robotics是一个面向机器人手势识别的基准测试,系统评估静态手势识别、动态手势识别、骨骼关键点识别、深度手势识别等方法在工业机器人示教、服务机器人交互、医疗机器人控制等场景中的识别效果。基准测试使用统一的评估协议和数据集,对比不同识别方法的准确率、实时性、鲁棒性,提供详细的实验结果和分析报告。该基准测试适用于机器人人机交互研究者,帮助选择和设计适合特定应用的手势识别方案,来源机构为国际机器人人机交互研究社区。

在统一的手势识别任务上,对比不同识别方法在机器人应用场景中的表现

基准测试
Distributed Control Benchmark for Robotics
控制科学与机器人学研究社区

Distributed Control Benchmark for Robotics是机器人分布式控制领域的权威基准测试,为分布式控制算法的性能评估提供标准化的测试场景和评价指标。该基准测试由控制科学与机器人学交叉领域的研究社区共同制定,涵盖了分布式一致性、分布式优化、分布式估计、分布式编队控制等典型控制任务。测试采用统一的仿真环境和通信网络模型,考虑时延、丢包、带宽限制等实际通信约束,评估指标包括收敛速度、控制精度、稳定性、通信开销、计算复杂度等。该基准测试已成为机器人分布式控制研究领域的标准评估工具,适用于分布式控制、多机器人系统、网络控制系统等领域的算法评估和比较。

标准化仿真测试+通信约束建模+多指标量化评估

基准测试
Learning-based Grasping Benchmark for Robotics
DeepMind, OpenAI, UC Berkeley

Learning-based Grasping Benchmark for Robotics是机器人基于学习的抓取领域的权威评测基准,由谷歌DeepMind、OpenAI、加州大学伯克利分校等机构联合开发,旨在标准化评估基于学习的抓取系统的性能。该基准涵盖监督学习抓取、强化学习抓取、模仿学习抓取、迁移学习抓取、元学习抓取五大核心维度,包含18个标准化测试任务和42个评估指标。测试任务包括已知物体抓取、未知物体抓取、跨类别抓取、跨场景抓取、少样本抓取等典型基于学习的抓取场景。评估指标包括抓取成功率、数据效率、学习速度、泛化能力、迁移能力、鲁棒性、推理速度、能耗等。该基准已在全球数百个研究机构和企业中使用,是基于学习的抓取领域最权威的评测基准之一,推动了机器人基于学习的抓取技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Active Learning Benchmark for Robotics
机器人主动学习研究社区

Active Learning Benchmark for Robotics是机器人主动学习研究社区维护的标准化评测基准,用于公平比较不同主动学习算法在各类机器人任务上的标注效率和学习性能。基准涵盖基于不确定性的方法、基于多样性的方法、基于期望模型变化的方法等多种主动学习范式,包括机器人感知(目标检测、语义分割、姿态估计)、机器人控制(策略学习、逆强化学习)、机器人操作(抓取规划、技能学习)等多种任务类型。基准提供了统一的数据集接口、标准化的标注预算协议、可复现的实验设置和公开的排行榜,支持多种模型架构和标注接口。

在固定标注预算下运行各主动学习算法,记录学习曲线、最终性能、标注效率等指标,多次运行取平均值和标准差

数据集评测
DROID Dataset
Stanford University

DROID是2024年由Stanford等机构联合发布的大规模机器人操作数据集,汇集了来自13个研究机构、多种机器人形态的操作数据。该数据集包含超过7.6万条机器人操作轨迹,涵盖厨房、桌面、工业等多种场景的操作任务,是目前最大的真实机器人操作数据集之一。DROID采用统一的数据采集协议和标注规范,为研究通用机器人操作策略提供了重要的数据基础。

大规模真实机器人操作数据集评估

基准测试
RoboCasa: Large-Scale Simulation of Household Tasks for Generalist Robots
RoboCasa团队

RoboCasa是由NVIDIA、UT Austin等机构于2024年发布的大规模家庭任务仿真基准,旨在评估通用机器人在复杂家庭环境中的操作能力。该基准包含超过100个程序化生成的家庭场景、50+长时序操作任务(如做饭、清洁、整理等),支持多种机器人形态和传感器配置。RoboCasa强调任务的多样性和场景的真实感,提供了大规模的演示数据集和评估协议,是目前家庭机器人领域最具挑战性的基准测试之一。

长时序家庭任务评估,测量任务完成率和子任务成功率

数据集评测
DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
具身智能资料库

DROID是一个大规模的真实世界机器人操作数据集,包含来自13个机构的76000多条机器人操作轨迹。该数据集覆盖了多种场景和多种任务,是真实世界机器人学习领域的重要数据集。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Multi-Robot Coordination Benchmark for Robotics
国际多机器人研究社区

Multi-Robot Coordination Benchmark for Robotics是多机器人协同领域的权威基准测试,为多机器人协调控制算法的性能评估提供标准化的测试平台和评价体系。该基准测试由国际多机器人研究社区共同制定,涵盖了任务分配、路径规划、编队控制、协同搜索、协同运输等典型协同任务。测试采用统一的仿真环境和机器人平台,评估指标包括任务完成率、协调效率、冲突避免率、系统吞吐量、通信开销等。该基准测试已成为多机器人协同研究领域的标准评估工具,被大量学术论文引用,适用于多机器人系统、协同控制、分布式人工智能等领域的算法评估和比较。

标准化仿真测试+多任务场景+多指标量化评估

基准测试
Object Detection Benchmark for Robotics
Meta AI & Microsoft Research

Object Detection Benchmark是一个面向机器人目标检测的基准测试套件,涵盖两阶段检测、单阶段检测、Transformer检测等检测算法的标准化评估。该基准提供多种机器人应用场景(工业检测、自动驾驶、服务机器人、农业机器人),支持对比不同检测算法在精度、效率和泛化能力方面的表现。测试条件包括不同光照、遮挡、小目标、密集目标、域偏移等,评估指标包括mAP、推理速度、内存占用、小目标检测率等。该基准适用于机器人视觉、场景理解、自主系统等领域的算法评估,来源机构包括Meta AI、微软、谷歌等。

多应用场景+干扰条件+多算法对比

基准测试
Grasp Planning Benchmark for Robotics
UC Berkeley, CMU, Stanford

Grasp Planning Benchmark for Robotics是机器人抓取规划领域的权威评测基准,由加州大学伯克利分校、卡内基梅隆大学、斯坦福大学等机构联合开发,旨在标准化评估抓取规划系统的性能。该基准涵盖解析抓取规划、基于采样的抓取规划、基于优化的抓取规划、基于学习的抓取规划、基于搜索的抓取规划五大核心维度,包含20个标准化测试任务和45个评估指标。测试任务包括简单物体规划、复杂物体规划、多物体规划、堆叠规划、动态场景规划等典型抓取规划场景。评估指标包括规划成功率、规划时间、抓取质量、路径质量、内存占用、可扩展性、鲁棒性、泛化能力等。该基准已在全球数百个研究机构中使用,是抓取规划领域最权威的评测基准之一,推动了机器人抓取规划技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Behavior Trees Evaluation Benchmark
行为树研究社区

Behavior Trees Evaluation Benchmark是行为树研究社区维护的标准化评测基准,用于公平比较不同行为树设计、执行和学习方法在各类机器人任务上的性能。基准涵盖行为树设计(手动设计、自动生成、从演示中学习)、行为树执行(单线程、多线程、实时调度)、行为树学习(进化算法、强化学习、模仿学习)等多个研究方向,包括游戏AI、机器人操作、移动机器人、无人机、自动驾驶等多种应用场景。基准提供了统一的行为树表示格式、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种行为树库(BehaviorTree.CPP、py_trees、Groot等)和仿真环境。

在统一任务下运行各行为树方法,记录任务成功率、执行效率、可维护性、可重用性等指标,多次运行取平均值和标准差

基准测试
Task Planning Benchmark for Robotics
机器人任务规划研究社区

Task Planning Benchmark for Robotics是机器人任务规划研究社区维护的标准化评测基准,用于公平比较不同任务规划算法在各类机器人任务上的性能。基准涵盖经典规划(PDDL/STRIPS)、层次任务网络(HTN)、行为树、概率规划(MDP/POMDP)、学习型规划(神经网络/大语言模型)等多种规划范式,包括工业装配、服务机器人、仓储物流、自动驾驶、多机器人协作等多种应用场景。基准提供了统一的任务描述格式、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种规划器(Fast Downward、SHOP、BehaviorTree.CPP等)和仿真环境。

在统一任务描述下运行各规划器,记录规划时间、规划质量、成功率、可扩展性等指标,多次运行取平均值和标准差

基准测试
Swarm Robotics Benchmark for Robotics
国际机器人集群研究社区

Swarm Robotics Benchmark for Robotics是机器人集群领域的权威基准测试,为群体机器人系统的算法性能评估提供标准化的测试场景和评价指标。该基准测试由国际机器人集群研究社区共同制定,涵盖了集群聚集、集群分散、集群导航、集群搜索、集群运输等典型任务场景。测试采用统一的仿真环境和机器人模型,评估指标包括任务完成时间、系统效率、可扩展性、鲁棒性、通信开销等。该基准测试已成为机器人集群研究领域的标准评估工具,被大量学术论文引用,适用于机器人集群、群体智能、分布式系统等领域的算法评估和比较。

标准化仿真测试+多场景评估+多指标量化

基准测试
Robotic Grasping Benchmark for Robotics
CMU, Stanford, MIT

Robotic Grasping Benchmark for Robotics是机器人抓取领域的权威评测基准,由卡内基梅隆大学、斯坦福大学、麻省理工学院等机构联合开发,旨在标准化评估机器人抓取系统的性能。该基准涵盖解析抓取、基于接触的抓取、基于学习的抓取、基于视觉的抓取、基于触觉的抓取五大核心维度,包含25个标准化测试任务和55个评估指标。测试任务包括单物体抓取、多物体抓取、堆叠抓取、透明物体抓取、柔性物体抓取等典型抓取场景。评估指标包括抓取成功率、抓取精度、抓取速度、抓取稳定性、泛化能力、鲁棒性、计算效率、能耗等。该基准已在全球数百个研究机构和企业中使用,是机器人抓取领域最权威的评测基准之一,推动了机器人抓取技术的标准化评估和公平比较。

标准化测试任务+多维度评估指标

基准测试
Robot Skill Learning Benchmark
机器人技能学习研究社区

Robot Skill Learning Benchmark是机器人技能学习研究社区维护的标准化评测基准,用于公平比较不同技能学习算法在各类机器人任务上的性能。基准涵盖模仿学习、强化学习、元学习、课程学习等多种技能学习范式,包括操作技能(抓取、放置、插入、倒水、折叠等)、运动技能(行走、跑步、跳跃、攀爬等)、导航技能(点到点导航、避障导航、多房间导航等)等多种任务类型。基准提供了统一的任务接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境(MuJoCo、PyBullet、Gazebo、Isaac Gym等)和真实机器人平台。

在统一任务接口下运行各算法,记录学习曲线、最终性能、样本效率、计算效率等指标,多次运行取平均值和标准差

基准测试
SIMPLER
斯坦福大学

SIMPLER (Simulation Platform for Embodied AI Research)是2024年发布的具身智能仿真平台和基准测试,由斯坦福大学、Google等机构联合开发。SIMPLER提供了高保真的物理仿真和丰富的家居环境,支持机器人导航、操作、交互等多种任务,提供了标准化的任务接口和评估指标。该基准测试已被广泛用于评估VLA模型和具身智能系统的性能,是具身智能领域的重要基准之一。

仿真环境任务执行评估

基准测试
Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
具身智能资料库

Mobile ALOHA是一个机器人双臂移动操作基准测试,由斯坦福大学开发,包含多个双臂移动操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估双臂移动操作策略在复杂任务上的性能,是机器人学习和双臂移动操作领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
LM-Gym: A Unified Framework for LLM Evaluation
具身智能资料库

LM-Gym是一个统一的大型语言模型评估框架,提供标准化的评估环境和指标,用于评估LLM在各种任务上的性能。该框架支持多种评估模式,包括零样本、少样本和微调评估,是LLM评估领域的重要基础设施。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
RH20T Dataset
上海人工智能实验室

RH20T是2023年由上海人工智能实验室等机构发布的大规模机器人操作数据集,汇集了多种机器人形态的操作数据。该数据集包含超过11万条机器人操作轨迹,涵盖200多种操作任务,是目前最大的中文场景机器人操作数据集之一。RH20T采用统一的数据采集协议和多视角视觉标注,为研究机器人操作策略、视觉-语言-动作模型提供了重要的数据基础。

大规模机器人操作数据集评估

基准测试
RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
具身智能资料库

RoboCasa是一个大规模的日常任务仿真基准测试,由UT Austin和NVIDIA联合开发,包含100多种日常任务和多种厨房、客厅等家庭环境。该基准测试提供了统一的接口和评估指标,能够有效评估通用机器人策略在日常任务上的性能,是具身智能和机器人操作领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
Open X-Embodiment Dataset
Google DeepMind

Open X-Embodiment是2023年由Google DeepMind等机构联合发布的大规模机器人操作数据集,汇集了来自22个研究机构、21种不同机器人形态的操作数据。该数据集包含超过100万条机器人操作轨迹,涵盖抓取、放置、推拉、工具使用等多种操作任务,是目前全球最大的跨形态机器人操作数据集。Open X-Embodiment为研究跨形态机器人学习、通用机器人策略提供了重要的数据基础。

跨形态机器人操作数据集评估

数据集评测
OXE Benchmark
Google DeepMind

OXE (Open X-Embodiment) Benchmark是2023年发布的开放跨具身机器人学习基准测试,由Google DeepMind、斯坦福大学等20多个机构联合开发。OXE Benchmark基于Open X-Embodiment数据集,包含来自20多种机器人平台的100多万条机器人操作轨迹,提供了标准化的跨平台评估协议和指标。该基准测试旨在推动通用机器人策略的研究,已被广泛用于评估VLA模型和机器人基础模型的跨平台泛化能力,是机器人学习领域最重要的基准之一。

跨平台机器人操作任务评估

数据集评测
Open X-Embodiment: Robotic Learning Datasets and RT-X Models
具身智能资料库

Open X-Embodiment是一个大规模的机器人学习数据集和RT-X模型项目,包含来自22个机器人平台的100多万条机器人操作轨迹。该项目旨在推动通用机器人模型的发展,是机器人学习领域的重要基础设施。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
LIBERO: Lifelong Robot Learning Benchmark
LIBERO团队

LIBERO是由UMass Amherst、Google等机构于2023年发布的终身机器人学习基准测试,旨在评估机器人策略在任务序列学习中的知识迁移和遗忘控制能力。该基准包含4个任务套件(Lifelong Learning、Long-Horizon、Spatial Reasoning、Object Manipulation),共130个操作任务,覆盖不同的物体、场景和动作类型。LIBERO提供了标准化的评估协议和指标,包括任务成功率、正向迁移和灾难性遗忘等,是目前机器人终身学习领域最权威的基准之一。

标准化任务序列评估,测量任务成功率、正向迁移和灾难性遗忘

数据集评测
BridgeData V2: A Dataset for Robot Learning at Scale
具身智能资料库

BridgeData V2是一个大规模的机器人学习数据集,包含60000多条机器人操作轨迹,覆盖了多种场景和多种任务。该数据集由UC Berkeley的机器人实验室收集,是机器人学习领域的重要数据集。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
RealWorld RLBench
帝国理工学院

RealWorld RLBench是2023年发布的真实世界机器人操作基准测试,是RLBench仿真基准的真实世界对应版本。RealWorld RLBench提供了标准化的真实世界机器人操作任务,包括桌面操作、物体抓取、工具使用等多种任务,提供了标准化的任务接口和评估指标。该基准测试旨在弥合仿真与现实之间的差距,已被广泛用于评估机器人操作策略的真实世界性能,是机器人学习领域的重要基准之一。

真实世界机器人任务执行评估

基准测试
BEHAVIOR-1K
斯坦福大学

BEHAVIOR-1K是斯坦福大学于2023年发布的具身智能基准测试,包含1000个日常活动任务,覆盖家居环境中的各种操作场景。该基准测试基于iGibson仿真环境,提供了高保真的物理仿真和丰富的物体交互,评估机器人在长期、多步骤任务中的规划和执行能力。BEHAVIOR-1K是目前规模最大、任务最丰富的具身智能基准之一,已被广泛用于评估VLA模型和具身智能系统的性能。

仿真环境任务执行评估

基准测试
LIBERO: Benchmarking Knowledge Transfer in Lifelong Robot Learning
具身智能资料库

LIBERO是一个终身机器人学习知识迁移基准测试,由CMU和Meta AI联合开发,包含4个任务套件和130多种机器人操作任务。该基准测试提供了统一的接口和评估指标,能够有效评估机器人学习算法在终身学习和知识迁移上的性能,是机器人学习领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
ACT: Action Chunking with Transformers for Robot Manipulation
具身智能资料库

ACT是一个机器人模仿学习基准测试,由斯坦福大学开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估动作分块预测策略在机器人操作任务上的性能,是机器人学习和模仿学习领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
PaLM-E: An Embodied Multimodal Language Model
具身智能资料库

PaLM-E是一个具身智能多模态大模型基准测试,由Google Research开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估具身多模态语言模型在机器人操作任务上的性能,是具身智能和多模态大模型领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
具身智能资料库

Diffusion Policy是一个机器人操作策略学习基准测试,由MIT和哥伦比亚大学开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估扩散策略在机器人操作任务上的性能,是机器人学习和扩散策略领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
ManiSkill: Generalizable Manipulation Skill Benchmark
具身智能资料库

ManiSkill是一个通用机器人操作技能基准测试,由UC San Diego开发,包含多种操作任务和机器人本体。该基准测试支持GPU并行仿真,能够高效训练和评估机器人操作策略,提供了统一的接口和评估指标,是机器人学习和仿真基准测试领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
3D Scene Understanding Benchmark for Robotics
3D场景理解研究社区

3D Scene Understanding Benchmark for Robotics是机器人3D场景理解领域的标准化评测基准,用于评估和比较不同3D场景理解算法在机器人操作任务中的性能。该基准提供了多种机器人3D场景理解测试场景,包括3D目标检测与姿态估计(在点云/深度图/多视角图像中进行3D目标检测和6D姿态估计,包括遮挡/截断/透明物体)、3D语义与实例分割(对3D点云进行语义分割和实例分割,包括室内/室外/工业场景)、可操作性分析(可操作性检测/抓取点预测/接触点预测/支撑关系推理/物理属性估计)、3D场景图构建(3D场景图生成/物体关系推理/空间关系建模/动态场景图更新)、操作规划集成(基于3D场景理解的抓取规划/运动规划/任务规划,包括抓取/放置/装配/推/开门/倒水)、实时3D感知(实时点云处理/在线3D重建/动态物体跟踪/增量场景更新)、sim-to-real 3D感知(将仿真中学习的3D感知模型迁移到真实机器人)等,支持多种3D场景理解方法和多种机器人平台(工业机器人/协作机器人/人形机器人/服务机器人)。3D Scene Understanding Benchmark for Robotics支持多种评估指标,包括3D感知性能(3D检测mAP/AP/IoU/6D姿态误差ADD/ADD-S/分割mIoU)、可操作性性能(可操作性检测AP/抓取点预测准确率/接触点误差/抓取成功率)、场景图性能(3D场景图Recall@K/关系预测准确率/场景图完整性/时序一致性)、操作性能(抓取成功率/放置成功率/装配成功率/任务完成率/规划时间)、实时性能(推理延迟/帧率/吞吐量/CPU/GPU/内存占用)、sim-to-real性能(sim-to-real性能差距/域适应增益/真实场景性能)等,提供了标准化的评估协议和多个公开数据集(ScanNet/ScanNet200/SUN RGB-D/YCB-Video/LineMOD/GraspNet等)。该基准推动了机器人3D场景理解技术的发展,多种经典和最新的3D场景理解算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、协作机器人、人形机器人、服务机器人、医疗机器人等领域的3D场景理解和操作感知系统研究和开发中,是机器人3D场景理解算法评估的标准基准之一。

多种机器人3D场景理解测试场景,多种3D场景理解方法和机器人平台,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Open-Vocabulary Detection Benchmark for Robotics
开放词汇检测研究社区

Open-Vocabulary Detection Benchmark for Robotics是机器人开放词汇检测领域的标准化评测基准,用于评估和比较不同开放词汇检测算法在机器人任务中的性能。该基准提供了多种机器人开放词汇检测测试场景,包括开放词汇目标检测(检测训练类别之外的任意物体类别,包括零样本检测/少样本检测/长尾类别检测)、开放词汇实例分割(对任意类别物体进行实例分割,包括开放世界实例分割/掩码生成)、开放词汇全景分割(对事物和stuff进行统一的开放词汇分割)、3D开放词汇检测(在3D点云/深度图中进行开放词汇检测和分割)、机器人开放世界操作(基于开放词汇检测的机器人抓取/操作/人机交互,包括家庭服务/工业检测/仓储物流)、跨域开放词汇检测(sim-to-real/跨场景/跨机器人平台的开放词汇检测泛化)等,支持多种开放词汇检测方法和多种评估设置(不同新颖类别比例/不同类别相似度/不同域差距)。Open-Vocabulary Detection Benchmark for Robotics支持多种评估指标,包括检测性能(新颖类别mAP/所有类别mAP/零样本检测AP/少样本检测AP/F1分数)、分割性能(新颖类别mask AP/全景分割PQ/开放词汇分割精度)、泛化性能(未见过类别/未见过环境/跨域泛化差距/长尾类别性能)、细粒度性能(细粒度类别区分/属性感知检测/组成性泛化)、机器人应用性能(抓取成功率/操作成功率/人机交互准确率/任务完成率)、效率性能(推理延迟/吞吐量/模型大小/边缘部署可行性)等,提供了标准化的评估协议和多个公开数据集(LVIS/COCO/OpenImages/ODinW/Roboflow等)。该基准推动了机器人开放词汇检测技术的发展,多种经典和最新的开放词汇检测算法都在该基准上进行了评估和对比。该基准被广泛应用于家庭服务机器人、工业机器人、仓储物流、人形机器人、自动驾驶等领域的开放世界感知系统研究和开发中,是机器人开放词汇检测算法评估的标准基准之一。

多种机器人开放词汇检测测试场景,多种开放词汇检测方法和评估设置,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Scene Graph Generation Benchmark for Robotics
场景图生成研究社区

Scene Graph Generation Benchmark for Robotics是机器人场景图生成领域的标准化评测基准,用于评估和比较不同场景图生成算法在机器人任务中的性能。该基准提供了多种机器人场景图生成测试场景,包括2D场景图生成(从单张/多张图像中生成物体-关系-物体场景图,包括目标检测/关系预测/属性识别)、3D场景图生成(从点云/深度图/多视角图像中生成3D场景图,包括3D目标检测/6D姿态/3D空间关系)、动态场景图生成(从视频序列中生成时序场景图,包括物体跟踪/时序关系/运动建模/场景图更新)、场景图应用评测(场景图引导的视觉问答/导航/操作规划/人机交互/记忆推理)、大规模场景图构建(大规模室内/室外环境的场景图构建/增量更新/长期记忆)等,支持多种场景图生成方法和多种机器人平台(工业机器人/服务机器人/人形机器人/自动驾驶)。Scene Graph Generation Benchmark for Robotics支持多种评估指标,包括场景图生成性能(场景图召回率Recall@K/平均召回率mR@K/关系预测准确率/属性识别准确率)、3D场景图性能(3D检测mAP/姿态误差/3D关系准确率/场景图完整性)、动态场景图性能(时序一致性/跟踪准确率/场景图更新延迟/动态关系准确率)、应用性能(场景图引导VQA准确率/导航成功率/操作成功率/推理准确率)、效率性能(生成延迟/吞吐量/内存占用/可扩展性)等,提供了标准化的评估协议和多个公开数据集(Visual Genome/OpenImages/ScanNet/3DSSG/ActivityNet等)。该基准推动了机器人场景图生成技术的发展,多种经典和最新的场景图生成算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、自动驾驶、人形机器人、家庭助手等领域的场景理解系统研究和开发中,是机器人场景图生成算法评估的标准基准之一。

多种机器人场景图生成测试场景,多种场景图生成方法和机器人平台,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Vision-Language Navigation Benchmark
视觉语言导航研究社区

Vision-Language Navigation Benchmark是视觉语言导航领域的标准化评测基准,用于评估和比较不同视觉语言导航算法在机器人任务中的性能。该基准提供了多种视觉语言导航测试场景,包括室内视觉语言导航(在真实室内环境/仿真室内环境中根据自然语言指令导航,包括R2R/R4R/RxR等数据集)、室外视觉语言导航(在城市/校园/户外环境中根据语言指令导航,包括Touchdown/CVDN等数据集)、指令跟随(精确遵循复杂/模糊/多步语言指令,包括REVERIE/R2R-CE等数据集)、问答导航(在导航过程中回答关于环境的问题,包括EQA/VQA-E等)、对话导航(通过多轮对话澄清指令并导航,包括HANNA/NDH等数据集)、sim-to-real导航(将仿真中学习的导航策略迁移到真实机器人)等,支持多种视觉语言导航方法和多种评估设置(不同环境复杂度/不同指令长度/不同语言歧义性)。Vision-Language Navigation Benchmark支持多种评估指标,包括导航性能(成功率/路径长度/导航误差/SPL/ORACLE成功率)、语言理解性能(指令遵循度/实体grounding准确率/歧义消解能力)、泛化性能(未见过环境/未见过指令/跨域泛化)、效率性能(导航时间/步数/计算开销)、人机交互性能(对话效率/用户满意度/澄清次数)等,提供了标准化的评估协议和多个公开数据集(R2R/R4R/Touchdown/REVERIE/CVDN/R2R-CE/RxR/HANNA等)。该基准推动了视觉语言导航技术的发展,多种经典和最新的视觉语言导航算法都在该基准上进行了评估和对比。该基准被广泛应用于服务机器人、家庭助手、导盲机器人、博物馆导览、仓储物流等领域的视觉语言导航系统研究和开发中,是视觉语言导航算法评估的标准基准之一。

多种视觉语言导航测试场景,多种视觉语言导航方法和评估设置,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Multimodal Robot Perception Benchmark
多模态感知研究社区

Multimodal Robot Perception Benchmark是机器人多模态感知领域的标准化评测基准,用于评估和比较不同多模态感知算法在机器人任务中的性能。该基准提供了多种机器人多模态感知测试场景,包括多传感器融合感知(相机+激光雷达+IMU+触觉+力觉+麦克风等多传感器融合目标检测/分割/姿态估计)、跨模态对齐(视觉-语言对齐/视觉-触觉对齐/视觉-力觉对齐/多模态语义对齐)、模态缺失鲁棒性(单模态缺失/多模态缺失/传感器故障/噪声干扰下的感知性能)、多模态场景理解(多模态语义分割/场景图生成/视觉问答/人机交互理解)、实时多模态推理(边缘设备上的实时多模态推理/延迟/吞吐量/资源占用)等,支持多种多模态融合方法和多种机器人平台(工业机器人/服务机器人/自动驾驶/人形机器人)。Multimodal Robot Perception Benchmark支持多种评估指标,包括感知性能(mAP/准确率/IoU/姿态误差/分割精度)、融合性能(融合增益/跨模态对齐精度/模态互补性)、鲁棒性性能(模态缺失下的性能下降率/噪声鲁棒性/故障恢复能力)、实时性能(推理延迟/吞吐量/CPU/GPU/内存占用)等,提供了标准化的评估协议和多个公开数据集(包括多模态机器人数据集、自动驾驶多模态数据集、人机交互多模态数据集)。该基准推动了机器人多模态感知技术的发展,多种经典和最新的多模态融合算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、自动驾驶、医疗机器人、人形机器人等领域的多模态感知系统研究和开发中,是机器人多模态感知算法评估的标准基准之一。

多种机器人多模态感知测试场景,多种多模态融合方法和机器人平台,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Robot Transfer Learning Benchmark
迁移学习研究社区

Robot Transfer Learning Benchmark是机器人迁移学习领域的标准化评测基准,用于评估和比较不同迁移学习算法在机器人任务中的性能。该基准提供了多种机器人迁移学习测试场景,包括sim-to-real迁移(将仿真中学习的策略迁移到真实机器人、动力学差异/视觉差异/接触建模差距)、跨机器人迁移(将策略从一种机器人形态迁移到另一种、运动学/动力学差异适配)、跨任务迁移(将知识从源任务迁移到目标任务、技能复用与组合)、域自适应(在不同视觉/动力学域之间迁移、无监督/半监督域自适应)、表示学习(学习可迁移的状态/视觉表示、自监督/对比学习)等,支持多种迁移学习算法(域随机化、系统辨识、残差策略、DANN、CDAN、MMD、CORAL等)和多种迁移设置(不同源域/目标域、不同迁移数据量、不同域差距)。Robot Transfer Learning Benchmark支持多种评估指标,包括迁移性能(目标域任务成功率/准确率/累积奖励/性能曲线)、迁移效率(达到目标性能所需的目标域样本数/微调步数/迁移时间)、负迁移检测(迁移后性能下降幅度/负迁移率/安全迁移保证)、跨域泛化(未见过域的性能/域泛化差距/鲁棒性)、数据效率(源域数据利用率/无监督迁移性能/标注成本降低)等,提供了标准化的评估协议和多种测试用例(包括不同仿真器、不同机器人、不同任务、不同环境)。该基准推动了机器人迁移学习技术的发展,多种经典和最新的迁移学习算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、协作机器人、人形机器人、服务机器人等领域的迁移学习系统研究和开发中,是机器人迁移学习算法评估的标准基准之一。

多种机器人迁移学习测试场景,多种迁移学习算法和迁移设置,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Few-Shot Robot Learning Benchmark
少样本学习研究社区

Few-Shot Robot Learning Benchmark是少样本机器人学习领域的标准化评测基准,用于评估和比较不同少样本学习算法在机器人任务中的性能。该基准提供了多种少样本机器人学习测试场景,包括少样本操作(从少量演示中学习新操作技能、少样本精细操作)、少样本抓取(从少量样本中学习新物体抓取、零样本/少样本泛化)、少样本导航(在新环境中从少量探索中学习导航、快速适应新环境)、少样本识别(从少量样本中识别新物体/新场景、少样本分类)、跨任务迁移(将知识从源任务迁移到目标任务、少样本迁移学习)等,支持多种少样本学习算法(MAML、ProtoNet、Matching Networks、Relation Networks、数据增强、演示学习等)和多种评估设置(1-shot/5-shot/10-shot、N-way分类、不同任务分布)。Few-Shot Robot Learning Benchmark支持多种评估指标,包括少样本性能(N-shot任务成功率/准确率/累积奖励/性能曲线)、样本效率(达到目标性能所需的样本数/演示数/交互次数)、泛化能力(未见过任务/物体/环境的性能/泛化差距)、适应速度(快速适应时间/梯度更新步数/在线适应延迟)、数据效率(数据增强效果/模拟数据利用率/标注成本)等,提供了标准化的评估协议和多种测试用例(包括不同物体类别、不同任务难度、不同环境复杂度)。该基准推动了少样本机器人学习技术的发展,多种经典和最新的少样本学习算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、人形机器人、医疗机器人等领域的少样本学习系统研究和开发中,是少样本机器人学习算法评估的标准基准之一。

多种少样本机器人学习测试场景,多种少样本学习算法和评估设置,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Continual Robot Learning Benchmark
持续学习研究社区

Continual Robot Learning Benchmark是机器人持续学习领域的标准化评测基准,用于评估和比较不同持续学习算法在机器人任务中的性能。该基准提供了多种机器人持续学习测试场景,包括多任务操作学习(依次学习多个操作技能、技能累积与复用)、终身学习(在长期部署中持续学习新技能、知识累积)、跨场景适应(在不同环境/场景中持续学习、场景切换适应)、在线学习(从实时数据流中持续学习、增量更新)、任务无关持续学习(无明确任务边界的持续学习、自动任务边界检测)等,支持多种持续学习算法(EWC、SI、MAS、GEM、A-GEM、Progressive Networks、PackNet等)和多种系统配置(不同任务数量、不同任务序列、不同数据量)。Continual Robot Learning Benchmark支持多种评估指标,包括遗忘度量(后向迁移BWT/平均遗忘率/最大遗忘率/最终遗忘率)、前向迁移(FWT/新任务学习速度/知识迁移收益)、累积性能(平均准确率/累积奖励/技能覆盖率)、稳定性-可塑性权衡(旧任务保持率/新任务学习率)、计算效率(训练时间/内存占用/参数数量)等,提供了标准化的评估协议和多种测试用例(包括不同任务序列、不同任务相似度、不同数据分布)。该基准推动了机器人持续学习技术的发展,多种经典和最新的持续学习算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、人形机器人、自动驾驶等领域的持续学习系统研究和开发中,是机器人持续学习算法评估的标准基准之一。

多种机器人持续学习测试场景,多种持续学习算法和系统配置,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Meta-RL Robot Benchmark
元学习研究社区

Meta-RL Robot Benchmark是机器人元强化学习领域的标准化评测基准,用于评估和比较不同元学习算法在机器人任务中的性能。该基准提供了多种机器人元学习测试场景,包括少样本操作学习(从少量演示中学习新操作技能、快速适应新物体/新任务)、快速适应新任务(在新环境/新动力学下快速在线适应、测试时适应)、跨机器人迁移(将策略从一种机器人形态迁移到另一种、形态不变表示学习)、sim-to-real迁移(将仿真中学习的策略迁移到真实机器人、域随机化与系统辨识)、多任务元学习(在多个相关任务上进行元训练、跨任务泛化)等,支持多种元学习算法(MAML、Reptile、Meta-SGD、ProtoNet、Matching Networks等)和多种系统配置(不同任务数量、不同样本数量、不同适应步数)。Meta-RL Robot Benchmark支持多种评估指标,包括少样本性能(N-shot任务成功率/累积奖励/性能曲线)、适应速度(达到目标性能所需的样本数/梯度步数/适应时间)、跨任务泛化(未见过任务的性能/泛化差距)、样本效率(元训练样本数/任务数/总交互次数)、计算效率(元训练时间/适应时间/内存占用)等,提供了标准化的评估协议和多种测试用例。该基准推动了机器人元学习技术的发展,多种经典和最新的元学习算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、人形机器人、无人机等领域的元学习系统研究和开发中,是机器人元学习算法评估的标准基准之一。

多种机器人元学习测试场景,多种元学习算法和系统配置,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Causal Robot Learning Benchmark
因果推理研究社区

Causal Robot Learning Benchmark是机器人因果学习领域的标准化评测基准,用于评估和比较不同因果推理算法在机器人任务中的性能。该基准提供了多种机器人因果学习测试场景,包括因果发现(从交互数据中发现因果结构、因果方向识别、隐藏混杂因素处理)、因果效应估计(干预效应估计、反事实效应估计、因果归因)、因果强化学习(因果MDP建模、因果策略优化、离线因果RL)、因果模仿学习(因果行为克隆、因果逆强化学习、从观察中因果学习)、可解释决策(因果解释、反事实解释、因果重要性归因)等,支持多种因果推理方法和多种机器人任务(操作、导航、感知、人机交互)。Causal Robot Learning Benchmark支持多种评估指标,包括因果发现性能(结构汉明距离SHD、假阳性率/假阴性率、因果方向准确率)、因果估计性能(效应估计误差、反事实预测准确率、置信区间覆盖率)、决策性能(任务成功率/累积奖励/样本效率)、可解释性(解释保真度/解释稳定性/用户理解度)等,提供了标准化的评估协议和多种测试用例。该基准推动了机器人因果学习技术的发展,多种经典和最新的因果推理算法都在该基准上进行了评估和对比。该基准被广泛应用于机器人操作、导航、感知、人机交互、故障诊断、安全决策等领域的因果推理系统研究和开发中,是机器人因果学习算法评估的标准基准之一。

多种机器人因果学习测试场景,多种因果推理方法和机器人任务,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Robot Energy Efficiency Benchmark
节能机器人研究社区

Robot Energy Efficiency Benchmark是机器人能效领域的标准化评测基准,用于评估和比较不同机器人系统和算法的能效性能。该基准提供了多种机器人能效测试场景,包括移动机器人能效(平地行走/爬坡/越障/负载运输的能耗)、无人机能效(悬停/巡航/机动/任务执行的能耗)、人形机器人能效(行走/跑步/上下楼梯/操作任务的能耗)、工业机器人能效(搬运/焊接/装配/喷涂的能耗)、机械臂能效(到达/抓取/放置/精细操作的能耗)、计算能效(感知/决策/控制/学习的计算能耗)等,支持多种能效优化方法(节能运动规划/节能控制/节能强化学习/计算卸载/硬件加速)。Robot Energy Efficiency Benchmark支持多种评估指标,包括能耗指标(单次任务能耗/单位距离能耗/单位时间能耗/总能耗)、能效指标(任务完成率/能耗效率/性能能耗比/续航时间)、计算能效指标(每焦耳计算量/每焦耳推理次数/模型能耗效率)、系统能效指标(能源利用率/待机功耗/充电效率/电池循环寿命)等,提供了标准化的评估协议和多种测试用例(包括不同负载/不同速度/不同地形/不同任务复杂度)。该基准推动了机器人能效技术的发展,多种经典和最新的能效优化方法都在该基准上进行了评估和对比。该基准被广泛应用于移动机器人、无人机、人形机器人、工业机器人、服务机器人等领域的能效优化系统研究和开发中,是机器人能效评估的标准基准之一。

多种机器人能效测试场景,多种能效优化方法,标准化评估协议,多种测试用例(不同负载/速度/地形/任务复杂度),多维度性能指标

基准测试
Edge Robot Computing Benchmark
边缘计算研究社区

Edge Robot Computing Benchmark是机器人边缘计算领域的标准化评测基准,用于评估和比较不同边缘计算架构和算法在机器人应用中的性能。该基准提供了多种机器人边缘计算测试场景,包括实时感知与决策(目标检测/语义分割/场景理解的边缘推理)、低延迟控制(实时运动控制/避障/轨迹跟踪的边缘计算)、分布式多机器人协作(多机器人协同感知/决策/控制的边缘计算)、云边协同(云端训练-边缘推理/模型更新/数据筛选)、计算卸载与任务调度(动态卸载决策/资源分配/服务迁移)等,支持多种边缘硬件平台(Jetson系列、Raspberry Pi、工业边缘网关、FPGA)和多种边缘AI框架(TensorRT、ONNX Runtime、OpenVINO、TFLite)。Edge Robot Computing Benchmark支持多种评估指标,包括延迟(端到端延迟/推理延迟/通信延迟)、吞吐量(每秒帧数/每秒请求数)、能耗(计算能耗/通信能耗/总能耗)、准确率(推理精度/控制精度/任务成功率)、资源利用率(CPU/GPU/内存/带宽利用率)、可靠性(故障率/恢复时间/容错性)等,提供了标准化的评估协议和多种测试用例。该基准推动了机器人边缘计算技术的发展,多种经典和最新的边缘计算架构和算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、服务机器人、自动驾驶、无人机、医疗机器人等领域的边缘计算系统研究和开发中,是机器人边缘计算系统评估的标准基准之一。

多种机器人边缘计算测试场景,多种边缘硬件平台和边缘AI框架,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Federated Robot Learning Benchmark
联邦学习研究社区

Federated Robot Learning Benchmark是机器人联邦学习领域的标准化评测基准,用于评估和比较不同联邦学习算法在机器人任务中的性能。该基准提供了多种机器人联邦学习任务场景,包括联邦强化学习(多机器人协作导航、多机器人协作操作)、联邦模仿学习(跨场景操作策略学习、跨工厂技能共享)、联邦感知(多机器人协同目标检测、分布式场景理解)、联邦控制(分布式运动控制、多机器人编队)等,支持多种联邦学习算法(FedAvg、FedProx、FedNova、SCAFFOLD、FedAdam等)和多种系统配置(不同客户端数量、不同数据异质性程度、不同通信带宽)。Federated Robot Learning Benchmark支持多种评估指标,包括模型性能(准确率/成功率/累积奖励)、通信效率(通信轮数/通信量/收敛速度)、系统性能(训练时间/资源利用率/容错性)、隐私保护(隐私预算/数据泄露风险)等,提供了标准化的评估协议和多种测试用例。该基准推动了机器人联邦学习技术的发展,多种经典和最新的联邦学习算法都在该基准上进行了评估和对比。该基准被广泛应用于多机器人协作学习、工业机器人知识共享、分布式感知、联邦强化学习等领域的研究和开发中,是机器人联邦学习算法评估的标准基准之一。

多种机器人联邦学习任务场景,多种联邦学习算法和系统配置,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Robot Safety Certification Benchmark
机器人安全研究社区

Robot Safety Certification Benchmark是机器人安全认证领域的标准化评测基准,用于评估和比较不同机器人系统的安全性能和合规性。该基准提供了多种机器人安全认证测试场景,包括功能安全评估(紧急停止、安全限速、安全限位、碰撞检测、安全监控)、人机协作安全评估(安全距离、力限制、速度限制、碰撞避免、意图预测)、软件安全评估(形式化验证、运行时监控、故障检测、安全降级、网络安全)、环境安全评估(危险区域检测、障碍规避、环境监控、应急响应)等,支持多种机器人平台(工业机器人、协作机器人、人形机器人、移动机器人、医疗机器人、无人机等)和多种安全标准(ISO 10218、ISO/TS 15066、IEC 61508、ISO 13482等)。Robot Safety Certification Benchmark支持多种评估指标,包括安全违规率、碰撞检测率、紧急停止响应时间、安全距离保持率、故障检测率、安全降级成功率、合规性得分等,提供了标准化的安全测试协议和多种测试用例。该基准推动了机器人安全认证技术的发展,为机器人系统的安全评估和认证提供了标准化的方法和工具。该基准被广泛应用于工业机器人安全、协作机器人安全、人形机器人安全、医疗机器人安全、自动驾驶安全等领域的安全评估和认证中,是机器人安全认证的标准基准之一。

多种机器人安全认证测试场景,功能安全/人机协作安全/软件安全/环境安全多维度评估,多种安全标准,标准化安全测试协议,多种测试用例,多维度性能指标

基准测试
Digital Twin Evaluation Benchmark
数字孪生研究社区

Digital Twin Evaluation Benchmark是机器人数字孪生领域的标准化评测基准,用于评估和比较不同数字孪生系统和平台的性能。该基准提供了多种数字孪生评估场景,包括仿真保真度评估(物理仿真精度、动力学一致性、接触仿真精度、传感器仿真真实度)、实时性评估(数据同步延迟、仿真步长、通信带宽、端到端延迟)、预测性维护评估(故障预测准确率、剩余使用寿命预测、异常检测率、误报率)、虚拟调试评估(调试效率、问题发现率、部署成功率、sim-to-real差距)等,支持多种机器人平台和数字孪生架构。Digital Twin Evaluation Benchmark支持多种评估指标,包括仿真精度误差、同步延迟、预测准确率、调试效率、部署成功率、系统吞吐量、可扩展性、资源利用率等,提供了标准化的评估协议和多种测试用例。该基准推动了机器人数字孪生技术的发展,多种经典和最新的数字孪生平台和方法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、人形机器人、智能制造、预测性维护、远程操作等领域的数字孪生系统研究和开发中,是机器人数字孪生系统评估的标准基准之一。

多种数字孪生评估场景,仿真保真度/实时性/预测性维护/虚拟调试多维度评估,标准化评估协议,多种测试用例,多维度性能指标

基准测试
Robot Robustness Benchmark
机器人鲁棒学习研究社区

Robot Robustness Benchmark是机器人鲁棒性领域的标准化评测基准,用于评估和比较不同机器人系统和算法在分布偏移下的鲁棒性。该基准提供了多种机器人鲁棒性测试场景,包括感知鲁棒性(图像损坏、光照变化、视角变化、天气变化、传感器噪声、对抗扰动)、决策鲁棒性(环境变化、任务变化、动态障碍、不确定性)、控制鲁棒性(物理参数变化、建模误差、外部扰动、执行器故障)等,支持多种机器人平台(人形机器人、移动机器人、机械臂、无人机等)和多种鲁棒性评估方法。Robot Robustness Benchmark支持多种评估指标,包括准确率下降率、最坏情况性能、性能方差、校准误差、安全违规率、恢复能力、故障恢复时间等,提供了标准化的压力测试协议和多种分布偏移生成工具。该基准推动了机器人鲁棒学习技术的发展,多种经典和最新的鲁棒学习算法(域自适应、域泛化、数据增强、鲁棒优化、测试时自适应等)都在该基准上进行了评估和对比。该基准被广泛应用于机器人鲁棒学习、自动驾驶鲁棒性、工业机器人可靠性、服务机器人环境适应性等领域的研究和开发中,是机器人系统鲁棒性评估的标准基准之一。

多种机器人鲁棒性测试场景,感知/决策/控制多维度鲁棒性测试,标准化压力测试协议,多种分布偏移生成工具,多维度性能指标

基准测试
RoboHive
Vikash Kumar团队

RoboHive是由Vikash Kumar及其团队维护的机器人学习基准测试框架,提供了多种复杂机器人任务的标准化环境,包括灵巧手操作、双臂协作、移动操作、四足机器人运动等。该框架支持MuJoCo物理仿真,提供了丰富的任务集合和基准测试,支持强化学习、模仿学习、轨迹优化等多种学习方法的训练和评估。RoboHive的目标是为机器人学习研究社区提供统一、具有挑战性的基准测试环境,推动机器人学习算法在复杂任务上的研究和发展。该项目被广泛应用于机器人学习研究,多个顶级会议和期刊的论文使用RoboHive作为基准测试环境。

提供多种复杂机器人任务的标准化环境,支持强化学习、模仿学习、轨迹优化等多种学习方法的训练和评估

基准测试
Gymnasium-Robotics
Farama Foundation

Gymnasium-Robotics是由Farama Foundation维护的机器人强化学习基准测试集合,是OpenAI Gym Robotics的官方继任者,提供了多种机器人操作和移动任务的标准化环境,包括Fetch机器人的抓取、推动、滑动任务,Shadow灵巧手的操作任务,以及Ant、HalfCheetah等移动机器人任务。该项目遵循Gymnasium API标准,支持多种强化学习算法的训练和评估,提供了详细的文档和示例代码。Gymnasium-Robotics的目标是为机器人强化学习研究社区提供统一、标准化的基准测试环境,促进研究结果的可复现性和可比性。

提供多种机器人操作和移动任务的标准化环境,支持多种强化学习算法的训练和评估

基准测试
MuJoCo Menagerie
Google DeepMind

MuJoCo Menagerie是由Google DeepMind维护的MuJoCo机器人模型集合,提供了多种商用和开源机器人的高质量MuJoCo模型,包括Franka Emika Panda、Universal Robots UR5/UR10、KUKA iiwa、Boston Dynamics Spot、Unitree Go1等。该项目提供了详细的模型文档、示例代码和基准测试,支持机器人操作、移动机器人、人形机器人等多种研究场景。MuJoCo Menagerie的目标是为机器人研究社区提供统一、高质量的机器人模型,减少模型重建的重复工作,促进研究结果的可复现性和可比性。

提供多种商用和开源机器人的高质量MuJoCo模型,支持机器人操作、移动机器人、人形机器人等多种研究场景

基准测试
ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills
具身智能资料库

ManiSkill2是一个统一的通用操作技能基准测试,包含多种机器人操作任务和仿真环境,用于评估机器人操作算法的泛化能力。该基准测试支持多种机器人平台和多种任务,是机器人操作领域的重要评估标准。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
RoboBench: A Benchmark for Robotic Manipulation
具身智能资料库

RoboBench是一个机器人操作基准测试,包含多种机器人操作任务和评估指标,用于评估机器人操作算法的性能。该基准测试覆盖了从简单到复杂的多种操作任务,是机器人操作领域的重要评估标准。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks
CALVIN团队

CALVIN是由University of Tübingen、MPI等机构于2022年发布的语言条件长时序机器人操作基准测试,旨在评估机器人策略在自然语言指令下完成多步骤操作任务的能力。该基准包含一个仿真桌面场景,支持连续的语言指令序列,机器人需要理解指令并执行相应的操作(如打开抽屉、移动物体、按压按钮等)。CALVIN提供了大规模的多任务演示数据集和标准化的评估指标,包括任务成功率、语言理解准确率和长时序任务完成率,是语言条件机器人学习领域最常用的基准之一。

语言条件多步骤操作任务评估,测量任务成功率和语言理解准确率

基准测试
ALOHA: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
具身智能资料库

ALOHA是一个机器人双臂操作基准测试,由斯坦福大学开发,包含多个双臂操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估双臂操作策略在精细操作任务上的性能,是机器人学习和双臂操作领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Code as Policies: Language Model Programs for Embodied Control
具身智能资料库

Code as Policies是一个具身智能大模型机器人基准测试,由Google Research开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估语言模型生成代码的机器人策略在机器人操作任务上的性能,是具身智能和大模型机器人领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Gymnasium: A Standard API for Reinforcement Learning Environments
具身智能资料库

Gymnasium是一个用于强化学习环境的标准API,由Farama Foundation维护,是OpenAI Gym的继任者。该工具包包含多种强化学习环境,包括经典控制、算法、Atari游戏、棋盘游戏等,提供了统一的环境接口和评估指标,是强化学习研究领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
ProcTHOR
艾伦人工智能研究所

ProcTHOR是艾伦人工智能研究所(AI2)于2022年发布的程序化生成家居环境基准测试,能够自动生成大规模、多样化的3D家居环境。ProcTHOR通过程序化生成算法创建了数以万计的独特家居场景,包含丰富的物体布局和交互可能性,为具身智能模型的训练和评估提供了大规模数据。该基准测试已被广泛用于评估机器人导航、视觉语言导航、具身问答等任务的性能,是具身智能领域的重要基准之一。

程序化生成环境任务评估

基准测试
SayCan: Grounding Language in Robotic Affordances
具身智能资料库

SayCan是一个具身智能大模型机器人基准测试,由Google Research开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估语言模型与可操作性模型结合的机器人策略在机器人操作任务上的性能,是具身智能和大模型机器人领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Robot Fault Diagnosis Benchmark
故障诊断研究社区

Robot Fault Diagnosis Benchmark是机器人故障诊断领域的标准化评测基准,用于评估和比较不同故障诊断算法在机器人系统中的性能。该基准提供了多种机器人故障诊断测试场景,包括传感器故障诊断(位置传感器/速度传感器/力传感器/视觉传感器故障)、执行器故障诊断(电机故障/减速器故障/伺服驱动器故障/液压执行器故障)、机械故障诊断(轴承故障/齿轮故障/传动带故障/结构松动)、电气故障诊断(电路故障/电源故障/接地故障/绝缘故障)、控制器故障诊断(CPU故障/内存故障/通信故障/软件故障)等,支持多种数据类型(振动/电流/温度/声音/视觉等多传感器数据)和多种诊断方法(传统机器学习/深度学习/多模态融合/小样本学习)。Robot Fault Diagnosis Benchmark支持多种评估指标,包括故障检测性能(检测率/误报率/漏报率/检测延迟/AUC)、故障分类性能(准确率/精确率/召回率/F1分数/混淆矩阵)、故障定位性能(定位准确率/定位误差/根因分析正确率)、早期故障检测性能(早期检测率/微弱故障识别率/提前预警时间)、鲁棒性性能(噪声鲁棒性/工况变化鲁棒性/跨设备泛化能力)等,提供了标准化的评估协议和多个公开数据集(CWRU轴承数据集、MFPT轴承数据集、PU齿轮箱数据集、机器人故障数据集等)。该基准推动了机器人故障诊断技术的发展,多种经典和最新的故障诊断算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、协作机器人、移动机器人、无人机、数控机床等设备的故障诊断系统研究和开发中,是机器人故障诊断算法评估的标准基准之一。

多种机器人故障诊断测试场景,多种数据类型和诊断方法,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Robot Predictive Maintenance Benchmark
预测性维护研究社区

Robot Predictive Maintenance Benchmark是机器人预测性维护领域的标准化评测基准,用于评估和比较不同预测性维护算法在机器人设备中的性能。该基准提供了多种机器人预测性维护测试场景,包括故障诊断(传感器故障/执行器故障/机械故障/电气故障的检测与分类)、剩余使用寿命预测(轴承/齿轮/电机/减速器等关键部件的RUL预测)、健康状态评估(设备健康指数构建/性能退化评估/维护优先级排序)、异常检测(早期微弱故障检测/未知故障识别/工况变化检测)、维护决策优化(维护计划优化/备件管理/成本效益分析)等,支持多种数据类型(振动/电流/温度/声音/视觉等多传感器数据)和多种算法(传统机器学习/深度学习/迁移学习/元学习)。Robot Predictive Maintenance Benchmark支持多种评估指标,包括故障诊断性能(准确率/精确率/召回率/F1分数/混淆矩阵)、RUL预测性能(均方根误差/平均绝对误差/得分函数/相对误差)、异常检测性能(检测率/误报率/漏报率/AUC/提前预警时间)、维护决策性能(非计划停机减少率/维护成本降低率/设备利用率/投资回报率)等,提供了标准化的评估协议和多个公开数据集(CWRU轴承数据集、PHM挑战赛数据集、NASA涡轮发动机数据集等)。该基准推动了机器人预测性维护技术的发展,多种经典和最新的预测性维护算法都在该基准上进行了评估和对比。该基准被广泛应用于工业机器人、协作机器人、数控机床、风电设备、泵机等设备的预测性维护系统研究和开发中,是机器人预测性维护算法评估的标准基准之一。

多种机器人预测性维护测试场景,多种数据类型和算法,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Explainable Robot Evaluation
可解释AI研究社区

Explainable Robot Evaluation是机器人可解释AI领域的标准化评测基准,用于评估和比较不同可解释AI方法在机器人系统中的效果。该基准提供了多种可解释机器人评估场景,包括感知可解释性(物体识别解释、场景理解解释、异常检测解释)、决策可解释性(路径规划解释、动作选择解释、任务分解解释)、交互可解释性(对话解释、意图解释、错误解释、置信度表达)等,支持多种可解释AI方法(LIME、SHAP、Grad-CAM、注意力可视化、自然语言解释、概念解释等)和多种机器人平台。Explainable Robot Evaluation支持多种评估指标,包括解释保真度(fidelity)、解释稳定性、解释简洁性、用户理解度、用户信任度、任务完成率、决策时间、认知负荷等,提供了标准化的评估协议和用户研究方法(包括客观指标和主观用户调研)。该基准推动了机器人可解释AI技术的发展,多种经典和最新的可解释AI方法都在该基准上进行了评估和对比。该基准被广泛应用于可解释机器人、人机协作、医疗机器人、自动驾驶、服务机器人、教育机器人等领域的研究和开发中,是机器人可解释AI方法评估的标准基准之一。

多种可解释机器人评估场景,感知/决策/交互多维度可解释性评估,多种可解释AI方法,标准化评估协议,客观指标+主观用户调研,多维度性能指标

基准测试
Safe Robot Learning Benchmark
安全强化学习研究社区

Safe Robot Learning Benchmark是机器人安全学习领域的标准化评测基准,用于评估和比较不同安全强化学习算法和系统的性能。该基准提供了多种安全机器人学习任务场景,包括安全导航(避障、约束区域、动态障碍)、安全操作(力约束、碰撞避免、关节限制)、安全移动操作(人机共存、安全距离、紧急停止)等,支持多种安全约束类型(硬约束、软约束、机会约束、风险约束)和多种安全强化学习算法(CPO、TRPO-Lagrangian、PPO-Lagrangian、安全屏蔽、安全探索等)。Safe Robot Learning Benchmark支持多种评估指标,包括任务完成率、安全违规率、约束满足率、累积奖励、样本效率、收敛速度、超参数敏感性等,提供了标准化的评估协议和多个安全环境(Safety Gym、Safety Gymnasium、Bullet Safety Gym等)。该基准推动了安全强化学习技术的发展,多种经典和最新的安全强化学习算法都在该基准上进行了评估和对比。该基准被广泛应用于安全强化学习、机器人安全学习、自动驾驶安全、工业控制安全等领域的研究和开发中,是安全机器人学习算法评估的标准基准之一。

多种安全机器人学习任务场景,多种安全约束类型和安全强化学习算法,标准化评估协议,多个安全环境,多维度性能指标

基准测试
CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation
具身智能资料库

CALVIN是一个语言条件长时序机器人操作策略学习基准测试,由University of Freiburg开发,包含多种长时序操作任务和语言指令。该基准测试提供了统一的接口和评估指标,能够有效评估语言条件机器人策略在长时序任务上的性能,是机器人学习和语言条件控制领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Habitat 2.0
Meta AI

Habitat 2.0是Meta AI于2021年发布的具身智能仿真平台和基准测试,是Habitat平台的重大升级版本。Habitat 2.0引入了高保真的物理仿真和交互式物体,支持机器人在复杂家居环境中进行导航和操作任务。该平台提供了标准化的任务接口和评估指标,包括Rearrangement任务等,已成为具身智能领域最广泛使用的仿真平台之一。Habitat 2.0开源项目地址为https://github.com/facebookresearch/habitat-lab。

仿真环境任务执行评估

基准测试
Implicit Behavioral Cloning
具身智能资料库

Implicit Behavioral Cloning是一个机器人模仿学习基准测试,由谷歌大脑和加州大学伯克利分校开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估隐式行为克隆策略在机器人操作任务上的性能,是机器人学习和模仿学习领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
RoboMimic Dataset
NVIDIA

RoboMimic是2021年由NVIDIA等机构发布的机器人模仿学习数据集,汇集了多种机器人操作任务的演示数据。该数据集包含超过2000条机器人操作轨迹,涵盖堆叠、插入、螺母装配等多种精密操作任务,采用统一的数据格式和标注规范。RoboMimic为研究机器人模仿学习、操作策略学习提供了标准化的评估平台,是机器人模仿学习领域最广泛使用的数据集之一。

机器人模仿学习数据集评估

基准测试
Atari 100K Benchmark
UC Berkeley

Atari 100K是2021年由UC Berkeley等机构提出的Atari游戏低数据量强化学习基准测试,要求智能体在10万步交互数据内学习Atari游戏。Atari 100K采用Atari 2600游戏环境,提供了多种游戏任务的标准化评估协议和指标,重点评估低数据量场景下的强化学习算法性能。该基准测试为研究数据高效强化学习、基于模型的强化学习等方向提供了重要的评估平台,是低数据量强化学习领域最广泛使用的基准测试之一。

Atari游戏低数据量强化学习评估

基准测试
Behavior Transformers: Cloning k modes with one RNN
具身智能资料库

Behavior Transformers是一个机器人模仿学习基准测试,由谷歌大脑和多伦多大学开发,包含多个机器人操作任务和评估指标。该基准测试提供了统一的接口和评估指标,能够有效评估模仿学习策略在机器人操作任务上的性能,是机器人学习和模仿学习领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning
具身智能资料库

Isaac Gym是一个高性能的基于GPU的物理仿真平台,由NVIDIA开发,支持大规模并行机器人仿真,能够在单个GPU上同时仿真数千个机器人。该平台为机器人强化学习提供了高效的训练环境,是机器人学习领域的重要基础设施。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Speech Interaction Benchmark
语音交互研究社区

Speech Interaction Benchmark是机器人语音交互领域的标准化评测基准,用于评估和比较不同语音交互系统和算法的性能。该基准提供了多种语音交互任务场景,包括语音指令识别、自然语言理解、多轮对话、问答系统、语音导航、语音控制等,支持多种语音识别引擎(Kaldi、ESPnet、Whisper、Wav2Vec2等)和对话系统(Rasa、Dialogflow、GPT等)。Speech Interaction Benchmark支持多种评估指标,包括语音识别准确率(WER/CER)、自然语言理解准确率、对话完成率、用户满意度、响应延迟、噪声鲁棒性、远场识别性能等,提供了标准化的评估协议和数据集(包括干净语音、噪声语音、远场语音、多口音语音等)。该基准推动了机器人语音交互技术的发展,多种经典和最新的语音交互系统和算法都在该基准上进行了评估和对比。该基准被广泛应用于服务机器人、家庭机器人、教育机器人、医疗机器人、智能助手等领域的语音交互系统研究和开发中,是语音交互系统评估的标准基准之一。

多种语音交互任务场景,多种语音识别引擎和对话系统,标准化评估协议,多维度性能指标

基准测试
Tactile Object Recognition Benchmark
机器人触觉研究社区

Tactile Object Recognition Benchmark是机器人触觉物体识别领域的标准化评测基准,用于评估和比较不同触觉感知算法和传感器的性能。该基准提供了多种触觉物体识别任务场景,包括物体分类、材质识别、表面纹理识别、形状识别、滑动检测等,支持多种触觉传感器类型(GelSight、DIGIT、BioTac、阵列式触觉传感器等)和多种感知算法(传统机器学习、深度学习、多模态融合等)。Tactile Object Recognition Benchmark支持多种评估指标,包括识别准确率、分类精度、召回率、F1分数、推理速度、样本效率等,提供了标准化的评估协议和数据集。该基准推动了机器人触觉感知技术的发展,多种经典和最新的触觉感知算法都在该基准上进行了评估和对比。该基准被广泛应用于机器人触觉感知、物体识别、精细操作、质量检测等领域的研究和开发中,是触觉物体识别算法评估的标准基准之一。

多种触觉物体识别任务场景,多种触觉传感器类型和感知算法,标准化评估协议,多维度性能指标

基准测试
nuPlan
Motional

nuPlan是由Motional(前身为nuTonomy)发布的自动驾驶运动规划基准测试,是自动驾驶运动规划领域规模最大的基准之一。该基准提供了约15000个驾驶场景,包含了约1300小时的驾驶数据,覆盖了波士顿、新加坡、匹兹堡和拉斯维加斯等多个城市的道路场景,提供了高精度的地图和传感器数据,支持多种评估指标(碰撞率、进度、舒适性、规则违反等)。nuPlan支持多种运动规划算法(基于规则、基于优化、基于学习等),提供了完整的训练和评估框架,能够公平地比较不同算法在各种场景下的性能。该基准推动了自动驾驶运动规划算法的发展,多种经典和最新的运动规划算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和智能交通等领域的研究和开发中。

提供约15000个驾驶场景和约1300小时驾驶数据,高精度地图和传感器数据,完整训练和评估框架

基准测试
Isaac Gym Environments
NVIDIA

Isaac Gym Environments是由NVIDIA维护的基于Isaac Gym物理仿真引擎的强化学习环境集合,提供了多种机器人控制任务的大规模并行仿真环境,包括四足机器人行走、人形机器人运动、机械臂操作、灵巧手操作等。该项目利用GPU加速的大规模并行仿真,能够同时模拟数千个机器人实例,大幅提高了采样效率和训练速度,能够在几分钟内完成传统方法需要几小时甚至几天的训练任务。Isaac Gym Environments支持多种强化学习算法的训练和评估,提供了详细的文档和示例代码,目标是为机器人强化学习研究社区提供高性能、大规模并行的基准测试环境,促进机器人强化学习研究的发展。

提供多种机器人控制任务的大规模并行仿真环境,支持多种强化学习算法的训练和评估

基准测试
CausalWorld Benchmark
Max Planck Institute

CausalWorld是2020年由Max Planck Institute等机构提出的机器人操作基准测试,专注于因果结构学习和迁移学习。CausalWorld基于PyBullet仿真引擎,提供了多个机器人操作任务,支持对任务参数进行因果干预,评估机器人策略的因果理解能力和迁移学习能力。该基准测试为研究因果推理、域适应、迁移学习等方向提供了标准化的评估平台。

仿真环境任务执行评估

基准测试
GraspNet-1Billion Benchmark
香港中文大学

GraspNet-1Billion是2020年由香港中文大学等机构发布的大规模机器人抓取基准测试数据集,包含超过10亿个抓取标注。GraspNet-1Billion采用真实场景和合成场景结合的方式,涵盖了多种物体和场景的抓取任务,提供了标准化的抓取评估协议和指标。该基准测试为研究机器人抓取、6自由度抓取生成等方向提供了重要的评估平台,是机器人抓取领域最广泛使用的基准测试之一。

6自由度抓取生成评估

基准测试
RoboTHOR
艾伦人工智能研究所

RoboTHOR是艾伦人工智能研究所(AI2)于2020年发布的机器人操作基准测试,旨在弥合仿真与现实之间的差距。RoboTHOR提供了与真实机器人平台对应的仿真环境,包含标准化的操作任务和评估指标,支持从仿真到现实的迁移学习研究。该基准测试包含多个家居场景和操作任务,评估机器人在感知、规划、执行等方面的综合能力。RoboTHOR已被广泛用于机器人操作、Sim-to-Real迁移等领域的研究,是机器人学习领域的重要基准之一。

仿真与真实环境对比评估

基准测试
RoboSuite: A Simulation Suite for Robot Learning
具身智能资料库

RoboSuite是一个机器人学习仿真套件,由斯坦福大学开发,包含多个机器人操作任务和仿真环境,支持多种机器人平台和多种学习算法。该套件提供了标准化的任务接口和评估指标,是机器人操作学习领域的重要基础设施。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Emotion Recognition Benchmark
情感计算研究社区

Emotion Recognition Benchmark是情感识别领域的标准化评测基准,用于评估和比较不同情感识别算法和系统的性能。该基准提供了多种情感识别任务场景,包括面部表情识别、语音情感识别、文本情感分析、生理信号情感识别、多模态情感融合等,支持多种情感分类体系(基本情绪:喜怒哀乐惊厌;维度情绪:效价-唤醒度-支配度;PAD模型等)和多种识别算法(传统机器学习、深度学习、多模态融合等)。Emotion Recognition Benchmark支持多种评估指标,包括识别准确率、分类精度、召回率、F1分数、AUC、推理速度、跨数据集泛化能力等,提供了标准化的评估协议和多个公开数据集(FER2013、CK+、RAVDESS、IEMOCAP、SEWA等)。该基准推动了情感识别技术的发展,多种经典和最新的情感识别算法都在该基准上进行了评估和对比。该基准被广泛应用于社交机器人、服务机器人、教育机器人、医疗机器人、心理健康、人机交互、市场研究等领域的情感识别系统研究和开发中,是情感识别算法评估的标准基准之一。

多种情感识别任务场景,多种情感分类体系和识别算法,标准化评估协议,多个公开数据集,多维度性能指标

基准测试
Social Robot Evaluation Benchmark
社交机器人研究社区

Social Robot Evaluation Benchmark是社交机器人领域的标准化评测基准,用于评估和比较不同社交机器人系统和交互算法的性能。该基准提供了多种社交机器人交互任务场景,包括对话交互、情感表达、陪伴交互、教育交互、医疗辅助、社交技能训练等,支持多种社交机器人平台(Pepper、NAO、Furhat、定制机器人等)和多种交互方式(语音、表情、肢体动作、多模态融合等)。Social Robot Evaluation Benchmark支持多种评估指标,包括任务完成率、用户满意度、交互自然度、情感理解准确率、用户参与度、长期交互效果、安全性等,提供了标准化的评估协议和用户研究方法。该基准推动了社交机器人技术的发展,多种经典和最新的社交机器人系统和交互算法都在该基准上进行了评估和对比。该基准被广泛应用于社交机器人、陪伴机器人、教育机器人、医疗机器人、老年护理、儿童教育等领域的研究和开发中,是社交机器人系统评估的标准基准之一。

多种社交机器人交互任务场景,多种社交机器人平台和交互方式,标准化用户研究方法,多维度性能指标

数据集评测
ACRONYM
NVIDIA & 斯坦福大学

ACRONYM是由英伟达和斯坦福大学联合发布的大规模机器人抓取数据集,是机器人抓取领域规模最大的数据集之一。该数据集提供了1700万个抓取样本和8800个3D物体模型,覆盖了多种物体类别(家具、工具、餐具、电子设备等),支持多种抓取类型(平行夹爪抓取、吸盘抓取等)。ACRONYM使用了基于物理仿真的抓取样本生成方法,能够自动生成大规模的抓取数据集,并提供了详细的抓取质量评分和物理属性。ACRONYM推动了基于深度学习的机器人抓取算法的发展,Contact-GraspNet、GraspNet等经典算法都在该数据集上进行了训练和评估。该数据集被广泛应用于机器人抓取研究和工业应用中。

提供1700万个抓取样本和8800个3D物体模型,覆盖多种物体类别和抓取类型

基准测试
Procgen: Procedurally Generated Game Environments for Reinforcement Learning
具身智能资料库

Procgen是一个程序化生成的游戏环境基准测试,由OpenAI开发,包含16个程序化生成的游戏环境,用于评估强化学习算法的泛化能力。该基准测试通过程序化生成确保训练和测试环境不同,能够有效评估算法的泛化性能,是强化学习泛化研究领域的重要基准。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning
具身智能资料库

Meta-World是一个多任务和元强化学习基准测试,由UC Berkeley开发,包含50个不同的机器人操作任务。该基准测试提供了统一的接口和评估指标,能够有效评估多任务和元强化学习算法在机器人操作上的性能,是机器人学习和元强化学习领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
RoboNet: Large-Scale Multi-Robot Learning
具身智能资料库

RoboNet是一个大规模的多机器人学习数据集,包含来自4个机器人平台的1500多万条视频帧。该数据集旨在推动多机器人学习的发展,是机器人视觉学习领域的重要数据集。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
RLBench: The Robot Learning Benchmark & Learning Environment
具身智能资料库

RLBench是一个机器人学习基准测试和学习环境,由帝国理工学院开发,包含100多个不同的机器人操作任务。该基准测试提供了统一的接口和评估指标,支持多种机器人本体和传感器配置,能够有效评估机器人学习算法在操作任务上的性能,是机器人学习和仿真基准测试领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
RLBench: The Robot Learning Benchmark & Learning Environment
具身智能资料库

RLBench是一个机器人学习基准测试和学习环境,由帝国理工学院开发,包含100多个机器人操作任务,覆盖了从简单到复杂的多种操作场景。该基准测试支持多种机器人平台和多种学习算法,是机器人操作学习领域的重要评估标准。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Habitat: A Platform for Embodied AI Research
具身智能资料库

Habitat是一个具身智能研究平台,由Facebook AI Research开发,支持多种具身智能任务,包括视觉导航、物体搜索、问答等。该平台提供了高性能的仿真环境和标准化的任务接口,是具身智能研究领域的重要基础设施。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Google Research Football
Google Research

Google Research Football(GRF)是由Google Research发布的多智能体强化学习基准测试,是体育游戏MARL领域最权威的基准之一。该基准基于开源足球游戏引擎,提供了完整的11v11足球比赛环境,支持多种游戏模式(如全图控制、固定角色、点球大战等),要求多个智能体(足球运动员)通过合作和竞争完成比赛。GRF场景具有高度挑战性,需要智能体具备良好的协作、战术决策、技能执行和实时反应能力,能够有效评估多智能体强化学习算法在复杂动态环境下的性能。GRF支持多种评估指标(胜率、进球数、控球率、传球成功率等),提供了Python接口和丰富的可视化工具。该基准推动了多智能体强化学习算法的发展,多种经典和最新的MARL算法都在该基准上进行了评估。该基准被广泛应用于多智能体强化学习、体育AI、游戏AI等领域的研究中。

基于开源足球游戏引擎,完整11v11足球比赛,多种游戏模式,合作竞争,评估算法协作和战术能力

基准测试
StarCraft Multi-Agent Challenge (SMAC)
牛津大学Whiteson研究组

StarCraft Multi-Agent Challenge (SMAC)是由牛津大学Whiteson研究组发布的多智能体强化学习基准测试,是MARL领域最权威的基准之一。该基准基于暴雪娱乐的《星际争霸II》游戏,提供了多种微观操作场景,包括不同数量和类型的单位组合(如陆战队对抗蟑螂、狂热者对抗追踪者等),要求多个智能体(游戏单位)通过合作击败敌方单位。SMAC场景具有挑战性,需要智能体具备良好的协作、定位、技能释放和战术决策能力,能够有效评估多智能体强化学习算法在复杂合作场景下的性能。SMAC支持多种评估指标(胜率、平均奖励、样本效率等),提供了Python接口和丰富的可视化工具。该基准推动了多智能体强化学习算法的发展,多种经典和最新的MARL算法(如QMIX、QPLEX、MAPPO等)都在该基准上进行了评估和对比。该基准被广泛应用于多智能体强化学习的学术研究中,是合作MARL算法的标准评测基准。

基于星际争霸II游戏,多种微观操作场景,不同单位组合,合作击败敌方,评估算法协作和战术能力

数据集评测
ContactDB
马克斯·普朗克智能系统研究所

ContactDB是由马克斯·普朗克智能系统研究所发布的机器人接触交互数据集,是机器人接触建模领域最权威的数据集之一。该数据集提供了50个日常物体的3D模型和数千个人类操作视频,标注了详细的接触点、接触力和物体姿态信息,支持多种接触建模任务(接触预测、接触力估计、物体操作等)。ContactDB使用了多视角相机和运动捕捉系统,能够精确记录人类操作过程中的接触信息和物体运动,为机器人接触建模和操作学习提供了宝贵的数据资源。ContactDB推动了基于学习的机器人接触建模算法的发展,被广泛应用于机器人操作、接触建模和人机交互研究中。

提供50个日常物体的3D模型和数千个人类操作视频,标注接触点、接触力和物体姿态

数据集评测
SemanticKITTI
波恩大学 & 弗劳恩霍夫研究所

SemanticKITTI是由波恩大学和弗劳恩霍夫研究所联合发布的大规模点云语义分割基准测试,是点云语义分割领域最权威的基准之一。该基准基于KITTI数据集,提供了22个序列的激光雷达点云数据,包含了约4.3万帧点云,标注了28类语义标签(汽车、行人、建筑、道路、植被等),支持多种评估指标(mIoU、mAcc等)。SemanticKITTI基准提供了大规模的点云语义分割数据,覆盖了多种城市道路场景,推动了大规模点云语义分割算法的发展,RandLA-Net、KPConv、SparseConvNet、MinkowskiNet等经典算法都在该基准上进行了评估。该基准被广泛应用于点云语义分割研究和工业应用中。

提供22个序列的激光雷达点云数据,包含约4.3万帧点云,标注28类语义标签

基准测试
Waymo Open Dataset 3D Detection
Waymo

Waymo Open Dataset 3D Detection是由Waymo发布的3D目标检测基准测试,是自动驾驶领域规模最大的3D目标检测基准之一。该基准提供了1150个驾驶场景,包含了约1200万帧相机图像和1200万帧激光雷达点云,标注了4类目标(汽车、行人、骑行者、标志)的3D边界框,支持多种评估指标(mAP、mAPH等)。Waymo Open Dataset 3D Detection基准提供了高质量的传感器数据(5个相机、5个激光雷达、IMU、GPS等),覆盖了多种城市道路场景和天气条件,推动了大规模3D目标检测算法的发展。该基准被广泛应用于自动驾驶3D感知研究和工业应用中。

提供1150个驾驶场景,包含约1200万帧相机图像和1200万帧激光雷达点云,标注4类目标的3D边界框

基准测试
nuScenes 3D Object Detection
Motional

nuScenes 3D Object Detection是由Motional(前身为nuTonomy)发布的3D目标检测基准测试,是自动驾驶领域最全面的3D目标检测基准之一。该基准提供了1000个驾驶场景,包含了140万帧相机图像和39万帧激光雷达点云,标注了10类目标(汽车、卡车、公交车、行人、骑行者等)的3D边界框,支持多种评估指标(mAP、NDS等)。nuScenes 3D Object Detection基准支持多种输入模态(点云、图像、多模态融合),提供了丰富的传感器数据(6个相机、1个激光雷达、5个雷达、IMU、GPS等),推动了多模态3D目标检测算法的发展。该基准被广泛应用于自动驾驶3D感知研究和工业应用中。

提供1000个驾驶场景,包含140万帧相机图像和39万帧激光雷达点云,标注10类目标的3D边界框

数据集评测
Waymo Open Dataset
Waymo(谷歌自动驾驶子公司)

Waymo Open Dataset是由Waymo(谷歌自动驾驶子公司)创建的自动驾驶数据集,是自动驾驶领域规模最大、最具影响力的开源基准测试数据集之一。该数据集包含了美国多个城市(旧金山、凤凰城、洛杉矶等)不同天气和光照条件下使用自动驾驶车辆采集的多模态传感器数据,包括5个摄像头、5个激光雷达(中程和远程)、IMU和GPS,提供了1150个场景、超过1200万帧相机图像、超过1200万帧激光雷达点云和超过1200万个3D物体标注。Waymo Open Dataset支持3D物体检测、3D跟踪、域适应、运动预测等多种任务的评估,提供了详细的标注和评估工具,被广泛应用于自动驾驶、机器人感知、计算机视觉等领域的研究和开发中。

提供美国多个城市不同天气和光照条件下的多模态传感器数据,支持3D物体检测、3D跟踪、域适应、运动预测等多种任务的评估

数据集评测
nuScenes
Motional(前身为nuTonomy)

nuScenes是由Motional(前身为nuTonomy)创建的自动驾驶数据集,是自动驾驶领域最具影响力的大规模基准测试数据集之一。该数据集包含了波士顿和新加坡城市环境下使用自动驾驶车辆采集的多模态传感器数据,包括6个摄像头、1个32线激光雷达、5个毫米波雷达、IMU和GPS,提供了1000个场景、140万帧相机图像、39万帧激光雷达点云和140万个3D物体标注。nuScenes数据集支持3D物体检测、3D跟踪、预测、规划等多种任务的评估,提供了详细的标注和评估工具,被广泛应用于自动驾驶、机器人感知、计算机视觉等领域的研究和开发中。

提供波士顿和新加坡城市环境下的多模态传感器数据,支持3D物体检测、3D跟踪、预测、规划等多种任务的评估

数据集评测
RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
具身智能资料库

RoboTurk是一个众包平台,通过人类示范收集机器人操作数据,用于模仿学习。该平台已收集了大量的机器人操作数据,覆盖了多种任务和场景,是机器人模仿学习领域的重要数据来源。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
Something-Something V2: A Large-Scale Video Database for Recognizing Fine-Grained Actions
具身智能资料库

Something-Something V2是Something-Something数据集的第二版,包含22万多个视频,覆盖了174种动作类别。该数据集在原版基础上进行了扩展和改进,是视频理解和动作识别领域的重要数据集。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Soft Robotics Benchmark
软体机器人研究社区

Soft Robotics Benchmark是软体机器人领域的标准化评测基准,用于评估和比较不同软体机器人系统和算法的性能。该基准提供了多种软体机器人任务场景,包括物体抓取、自适应包裹、精细操作、移动运动、形状变化等,支持多种软体机器人类型(软体抓手、软体移动机器人、可穿戴机器人等)和驱动方式(气动、形状记忆合金、介电弹性体等)。Soft Robotics Benchmark支持多种评估指标,包括抓取成功率、抓取力、适应度、响应速度、能耗、耐久性、安全性等,提供了标准化的评估协议和测试方法。该基准推动了软体机器人技术的发展,多种经典和最新的软体机器人设计和控制算法都在该基准上进行了评估和对比。该基准被广泛应用于软体机器人研究、仿生抓取、柔性传感、可穿戴机器人等领域的研究和开发中,是软体机器人系统评估的标准基准之一。

多种软体机器人任务场景,多种软体机器人类型和驱动方式,标准化评估协议,多维度性能指标

基准测试
Hanabi Learning Environment
DeepMind

Hanabi Learning Environment是由DeepMind发布的多智能体强化学习基准测试,是合作通信MARL领域最权威的基准之一。该基准基于经典的合作卡牌游戏《花火》(Hanabi),提供了2-5人合作游戏环境,要求多个智能体通过有限的通信(提示动作)和观察进行合作,尽可能获得高分。Hanabi游戏具有独特的挑战性,每个智能体只能看到其他玩家的手牌而看不到自己的手牌,需要通过通信和推理来理解自己的手牌,能够有效评估多智能体强化学习算法在合作通信、心智理论和隐式协调方面的能力。Hanabi Learning Environment支持多种评估指标(平均分数、最高分、通信效率等),提供了Python接口和丰富的游戏配置。该基准推动了多智能体强化学习算法的发展,多种经典和最新的MARL算法(如SAD、Other-Play等)都在该基准上进行了评估。该基准被广泛应用于多智能体强化学习、合作通信、游戏AI等领域的研究中。

基于花火卡牌游戏,2-5人合作,有限通信,部分可观测(看不到自己手牌),评估合作通信和推理能力

基准测试
PyBullet Gym
Benelot

PyBullet Gym是由Benelot维护的基于PyBullet物理仿真引擎的强化学习环境集合,提供了多种机器人控制任务的标准化环境,包括四足机器人行走、人形机器人运动、机械臂操作、移动机器人导航等。该项目遵循OpenAI Gym API标准,支持多种强化学习算法的训练和评估,提供了详细的文档和示例代码。PyBullet Gym的目标是为机器人强化学习研究社区提供统一、标准化的基准测试环境,促进研究结果的可复现性和可比性。该项目使用PyBullet物理仿真引擎,具有高保真度和高计算效率,能够在普通PC上实时仿真,被广泛应用于机器人强化学习研究和教育中。

提供多种机器人控制任务的标准化环境,支持多种强化学习算法的训练和评估

基准测试
DMControl Benchmark
DeepMind

DMControl(DeepMind Control Suite)是2018年由DeepMind发布的连续控制强化学习基准测试集合,包含多种连续控制任务。DMControl采用MuJoCo物理仿真引擎,提供了从简单控制任务到复杂机器人操作任务的多种环境,支持多种观测空间和动作空间,提供了标准化的评估协议和指标。该基准测试为研究连续控制强化学习、基于模型的强化学习等方向提供了重要的评估平台,是连续控制强化学习领域最广泛使用的基准测试之一。

连续控制强化学习任务评估

基准测试
DeepMind Control Suite: A Benchmark for Continuous Control
具身智能资料库

DeepMind Control Suite是一个连续控制基准测试,由DeepMind开发,基于MuJoCo物理引擎,包含多个连续控制任务,包括cartpole、reacher、cheetah、walker、humanoid等。该基准测试提供了标准化的任务接口和评估指标,能够有效评估强化学习算法在连续控制任务上的性能,是连续控制研究领域的重要基准。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

数据集评测
Something-Something: A Large-Scale Video Database for Recognizing Fine-Grained Actions
具身智能资料库

Something-Something是一个大规模的视频数据集,用于识别日常视频中的细粒度动作。该数据集包含20多万个视频,覆盖了174种动作类别,是视频理解和动作识别领域的重要数据集。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
ADE20K Benchmark
MIT

ADE20K是2017年由MIT发布的场景解析数据集,包含超过2万张图像、150个物体类别、丰富的场景标注。ADE20K采用细粒度场景解析标注方式,提供了标准化的语义分割、实例分割、场景解析等评估协议和指标。该基准测试为研究场景理解、语义分割、场景解析等方向提供了重要的评估平台,是场景理解领域最广泛使用的基准测试之一。

语义分割、实例分割、场景解析评估

基准测试
Multi-Agent MuJoCo
OpenAI & UC Berkeley

Multi-Agent MuJoCo(MA MuJoCo)是由OpenAI和UC Berkeley联合发布的多智能体强化学习基准测试,是连续控制MARL领域最权威的基准之一。该基准基于MuJoCo物理仿真引擎,提供了多种多智能体连续控制场景,包括多智能体蚂蚁、多智能体长臂、多智能体游泳者、合作搬运等,要求多个智能体通过合作控制连续动作完成任务。MA MuJoCo场景具有挑战性,需要智能体具备良好的连续控制、协作协调和力分配能力,能够有效评估多智能体强化学习算法在连续控制合作场景下的性能。MA MuJoCo支持多种评估指标(累计奖励、任务完成率、运动速度、能量效率等),提供了Python接口和丰富的可视化工具。该基准推动了多智能体强化学习算法的发展,多种经典和最新的MARL算法(如MADDPG、MAPPO、HATRPO等)都在该基准上进行了评估。该基准被广泛应用于多智能体强化学习、机器人协作、连续控制等领域的研究中,是合作连续控制MARL算法的标准评测基准。

基于MuJoCo物理仿真,多种多智能体连续控制场景,合作控制连续动作,评估协作协调和力分配能力

基准测试
Multi-Agent Particle Environment (MPE)
OpenAI

Multi-Agent Particle Environment (MPE)是由OpenAI发布的多智能体强化学习基准测试,是MARL领域最经典的基准之一。该基准提供了多种简单的2D粒子世界多智能体场景,包括合作导航、合作通信、捕食者-猎物、竞争合作混合等,支持连续和离散动作空间,能够快速评估多智能体强化学习算法的性能。MPE场景简单但具有代表性,能够有效测试算法在合作、竞争、通信、信用分配等方面的能力,是MARL算法研究的标准入门基准。MPE支持多种评估指标(累计奖励、成功率、通信效率等),提供了Python接口和丰富的可视化工具。该基准推动了多智能体强化学习算法的发展,多种经典和最新的MARL算法(如MADDPG、COMA、QMIX等)都在该基准上进行了评估。该基准被广泛应用于多智能体强化学习的研究和教学中。

多种2D粒子世界多智能体场景,合作/竞争/混合,连续/离散动作空间,快速评估算法性能

基准测试
CommonRoad
慕尼黑工业大学(TUM)

CommonRoad是由慕尼黑工业大学(TUM)自动控制工程研究所维护的自动驾驶运动规划基准测试,是自动驾驶运动规划领域最权威的学术基准之一。该基准提供了多种结构化的道路场景和运动规划问题,包括高速公路、城市道路、交叉口等,提供了标准化的场景描述格式和评估协议,支持多种评估指标(碰撞率、轨迹误差、计算时间、舒适性等)。CommonRoad支持多种运动规划算法(基于搜索、基于优化、基于学习等),提供了完整的工具链和多种编程语言接口(Python、C++、MATLAB等),能够方便地集成和评估不同的运动规划算法。该基准推动了自动驾驶运动规划算法的发展,多种经典和最新的运动规划算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和智能交通等领域的研究和开发中。

提供多种结构化道路场景和运动规划问题,标准化场景描述格式和评估协议,完整工具链

基准测试
CARLA Motion Planning
CARLA团队

CARLA Motion Planning是由CARLA团队维护的自动驾驶运动规划基准测试,是自动驾驶运动规划领域最流行的开源基准之一。该基准基于CARLA开源自动驾驶仿真器,提供了多种城市道路场景和驾驶任务,包括跟车、变道、转弯、避障等,提供了标准化的评估协议和多种评估指标(碰撞率、进度、舒适性、规则违反等)。CARLA Motion Planning支持多种运动规划算法(基于规则、基于优化、基于学习等),提供了完整的训练和评估框架,能够在仿真环境中快速评估和比较不同算法的性能。该基准推动了自动驾驶运动规划算法的发展,多种经典和最新的运动规划算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和智能交通等领域的研究和开发中。

基于CARLA开源仿真器,多种城市道路场景和驾驶任务,标准化评估协议,完整训练和评估框架

基准测试
Dex-Net 2.0 Grasping Benchmark
UC Berkeley AUTOLAB

Dex-Net 2.0 Grasping Benchmark是由加州大学伯克利分校AUTOLAB实验室发布的机器人抓取基准测试,是机器人抓取领域最权威的基准之一。该基准提供了大规模的抓取数据集(包含670万个抓取样本和1500个3D物体模型)、标准化的评估协议和多种抓取算法的基线结果,支持多种抓取类型(平行夹爪抓取等)和评估指标(抓取成功率、抓取质量评分等)。Dex-Net 2.0 Grasping Benchmark使用了基于解析抓取质量评分(epsilon-quality)和合成点云的方法,能够自动生成大规模的抓取数据集,并提供了详细的抓取质量评分。该基准推动了基于深度学习的机器人抓取算法的发展,Dex-Net 2.0、GraspNet、Contact-GraspNet等经典算法都在该基准上进行了评估。该基准被广泛应用于机器人抓取研究和工业应用中。

提供670万个抓取样本和1500个3D物体模型,标准化评估协议和多种算法基线

数据集评测
ScanNet
斯坦福大学 & 普林斯顿大学 & TUM

ScanNet是由斯坦福大学、普林斯顿大学和慕尼黑工业大学联合发布的大规模室内3D场景理解数据集,是室内3D场景理解领域最权威的数据集之一。该数据集提供了1513个室内场景的RGB-D视频序列,包含了约250万帧RGB图像和深度图像,标注了3D相机位姿、3D语义分割和实例分割标签,支持多种任务(3D语义分割、3D实例分割、3D目标检测、场景分类等)。ScanNet数据集提供了丰富的室内3D场景数据,覆盖了多种室内场景类型(卧室、客厅、厨房、办公室等),推动了室内3D场景理解算法的发展,PointNet++、KPConv、SparseConvNet等经典算法都在该数据集上进行了评估。该数据集被广泛应用于室内3D场景理解研究和工业应用中。

提供1513个室内场景的RGB-D视频序列,包含约250万帧RGB图像和深度图像,标注3D相机位姿、3D语义分割和实例分割标签

基准测试
PyBullet: Python Interface for the Bullet Physics Engine
具身智能资料库

PyBullet是Bullet物理引擎的Python接口,由Erwin Coumans开发,提供了刚体动力学、碰撞检测、机器人仿真等功能。该工具包包含多种机器人仿真环境,包括机械臂、移动机器人、人形机器人等,能够有效评估机器人控制算法在仿真环境中的性能,是机器人仿真领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Classic Control: Classic Reinforcement Learning Control Environments
具身智能资料库

Classic Control是OpenAI Gym中的经典强化学习控制环境集合,包括CartPole、MountainCar、Pendulum、Acrobot等经典控制任务。该环境集合提供了统一的接口和评估指标,能够有效评估强化学习算法在经典控制任务上的性能,是强化学习研究领域最经典的基准测试之一。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
OpenAI Gym: A Toolkit for Developing and Comparing Reinforcement Learning Algorithms
具身智能资料库

OpenAI Gym是一个用于开发和比较强化学习算法的工具包,由OpenAI开发,包含多种强化学习环境,包括经典控制、算法、Atari游戏、棋盘游戏等。该工具包提供了统一的环境接口和评估指标,能够有效评估强化学习算法在多种任务上的性能,是强化学习研究领域最经典的基准测试之一。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Wearable Robotics Benchmark
可穿戴机器人研究社区

Wearable Robotics Benchmark是可穿戴机器人领域的标准化评测基准,用于评估和比较不同可穿戴机器人系统和算法的性能。该基准提供了多种可穿戴机器人任务场景,包括运动增强、康复训练、工业辅助、老年助行、军事增强等,支持多种可穿戴机器人类型(刚性外骨骼、柔性外服、智能假肢、可穿戴传感等)和身体部位(上肢、下肢、全身、手部等)。Wearable Robotics Benchmark支持多种评估指标,包括代谢消耗减少率、运动能力提升、用户舒适度、安全性、续航时间、重量、人机协同度等,提供了标准化的评估协议和用户研究方法。该基准推动了可穿戴机器人技术的发展,多种经典和最新的可穿戴机器人设计和控制算法都在该基准上进行了评估和对比。该基准被广泛应用于可穿戴机器人研究、康复工程、运动增强、工业辅助、老年护理等领域的研究和开发中,是可穿戴机器人系统评估的标准基准之一。

多种可穿戴机器人任务场景,多种可穿戴机器人类型和身体部位,标准化用户研究方法,多维度性能指标

基准测试
EuRoC State Estimation
ETH Zurich ASL

EuRoC State Estimation是由苏黎世联邦理工学院(ETH Zurich)自主系统实验室(ASL)发布的无人机状态估计基准测试,是无人机和微型飞行器(MAV)状态估计领域最权威的基准之一。该基准提供了多个室内和室外场景的无人机飞行数据,包含了双目相机、IMU、激光雷达等多种传感器数据,提供了高精度的运动捕捉系统作为真值,支持多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE、均方根误差RMSE等)。EuRoC State Estimation支持多种状态估计算法(视觉惯性里程计VIO、激光里程计、多传感器融合等),能够在真实世界数据上评估和比较不同算法的性能。该基准包含了多种难度级别的场景(简单、中等、困难),能够全面评估算法的鲁棒性和精度。该基准推动了无人机状态估计算法的发展,多种经典和最新的VIO算法(如VINS-Mono、OKVIS、ROVIO等)都在该基准上进行了评估。该基准被广泛应用于无人机、移动机器人和AR/VR等领域的研究和开发中。

多个室内外场景无人机飞行数据,双目相机+IMU+激光雷达,高精度运动捕捉真值,多种难度级别

数据集评测
EuRoC MAV
苏黎世联邦理工学院

EuRoC MAV是由苏黎世联邦理工学院创建的微型飞行器(MAV)数据集,是视觉惯性SLAM领域最具影响力的基准测试数据集之一。该数据集包含了室内和工业环境下使用微型飞行器采集的双目图像、IMU数据和准确的地面真值轨迹,涵盖了简单、中等、困难三个难度级别的场景,包括快速运动、光照变化、纹理缺失等具有挑战性的条件。EuRoC MAV数据集提供了详细的标注和评估工具,支持视觉惯性SLAM算法的轨迹精度评估,使用ATE(绝对轨迹误差)作为主要评估指标,被广泛应用于视觉惯性SLAM、无人机定位、机器人感知等领域的研究和开发中。

提供室内和工业环境下的双目图像、IMU数据和准确的地面真值轨迹,支持视觉惯性SLAM算法的轨迹精度评估

基准测试
Haptic Exoskeleton Evaluation
触觉研究社区

Haptic Exoskeleton Evaluation是触觉外骨骼领域的标准化评测基准,用于评估和比较不同触觉外骨骼系统和算法的性能。该基准提供了多种触觉外骨骼任务场景,包括虚拟现实交互、远程操作、康复训练、技能培训、娱乐游戏等,支持多种触觉外骨骼类型(手部外骨骼、指套、力反馈手套、全身触觉服等)和反馈方式(力反馈、振动反馈、温度反馈、电刺激等)。Haptic Exoskeleton Evaluation支持多种评估指标,包括力反馈精度、延迟、稳定性、触觉分辨率、用户沉浸感、任务完成率、用户满意度等,提供了标准化的评估协议和心理物理学实验方法。该基准推动了触觉外骨骼技术的发展,多种经典和最新的触觉外骨骼设计和渲染算法都在该基准上进行了评估和对比。该基准被广泛应用于触觉反馈研究、虚拟现实、远程操作、康复工程、人机交互等领域的研究和开发中,是触觉外骨骼系统评估的标准基准之一。

多种触觉外骨骼任务场景,多种触觉外骨骼类型和反馈方式,标准化心理物理学实验方法,多维度性能指标

基准测试
Exoskeleton Performance Benchmark
外骨骼研究社区

Exoskeleton Performance Benchmark是外骨骼机器人领域的标准化评测基准,用于评估和比较不同外骨骼系统和算法的性能。该基准提供了多种外骨骼任务场景,包括平地行走、爬坡、爬楼梯、下蹲、搬运、康复训练等,支持多种外骨骼类型(下肢外骨骼、上肢外骨骼、全身外骨骼等)和应用场景(医疗康复、运动增强、工业辅助等)。Exoskeleton Performance Benchmark支持多种评估指标,包括代谢消耗减少率、行走速度、步长对称性、关节力矩辅助比、用户舒适度、安全性、续航时间等,提供了标准化的评估协议和用户研究方法。该基准推动了外骨骼机器人技术的发展,多种经典和最新的外骨骼设计和控制算法都在该基准上进行了评估和对比。该基准被广泛应用于外骨骼研究、康复工程、运动增强、工业辅助等领域的研究和开发中,是外骨骼系统评估的标准基准之一。

多种外骨骼任务场景,多种外骨骼类型和应用场景,标准化用户研究方法,多维度性能指标

基准测试
Assistive Robotics Benchmark
辅助机器人研究社区

Assistive Robotics Benchmark是辅助机器人领域的标准化评测基准,用于评估和比较不同辅助机器人系统和算法的性能。该基准提供了多种辅助机器人任务场景,包括日常生活活动(ADL)辅助、进食辅助、穿衣辅助、洗漱辅助、移动辅助、认知辅助等,支持多种辅助机器人平台(辅助机械臂、智能轮椅、康复机器人、社交机器人等)和用户群体(老年人、运动障碍患者、认知障碍患者等)。Assistive Robotics Benchmark支持多种评估指标,包括任务完成率、完成时间、用户努力程度、安全性、用户满意度、独立性提升等,提供了标准化的评估协议和用户研究方法。该基准推动了辅助机器人技术的发展,多种经典和最新的辅助机器人算法(如共享控制、意图识别、自适应辅助、个性化控制等)都在该基准上进行了评估和对比。该基准被广泛应用于辅助机器人研究、康复工程、老年护理、人机交互等领域的研究和开发中,是辅助机器人系统评估的标准基准之一。

多种辅助机器人任务场景,多种辅助机器人平台,标准化用户研究方法,多维度性能指标

基准测试
Teleoperation Benchmark
ROS社区

Teleoperation Benchmark是机器人遥操作领域的标准化评测基准,用于评估和比较不同遥操作系统和算法的性能。该基准提供了多种遥操作任务场景,包括物体抓取、精细操作、路径跟踪、避障、远程装配等,支持多种输入设备(键盘、游戏手柄、手势识别、VR控制器、触觉设备等)和机器人平台(机械臂、移动机器人、无人机等)。Teleoperation Benchmark支持多种评估指标,包括任务完成时间、成功率、操作精度、路径效率、认知负荷、用户满意度等,提供了标准化的评估协议和数据分析工具。该基准推动了机器人遥操作技术的发展,多种经典和最新的遥操作算法(如共享控制、半自主遥操作、运动学映射、时延补偿等)都在该基准上进行了评估和对比。该基准被广泛应用于机器人遥操作、人机交互、虚拟现实、远程医疗等领域的研究和开发中,是遥操作算法评估的标准基准之一。

多种遥操作任务场景,多种输入设备和机器人平台,标准化评估协议,多维度性能指标

数据集评测
YCB Object and Model Set
耶鲁大学 & UC Berkeley & Willow Garage

YCB Object and Model Set是由耶鲁大学、加州大学伯克利分校和 Willow Garage联合发布的机器人操作物体数据集,是机器人操作领域最权威的物体数据集之一。该数据集提供了77个日常物体的3D模型、高分辨率图像和物理属性(质量、摩擦系数等),覆盖了多种物体类别(工具、餐具、食品、玩具等),支持多种机器人操作任务(抓取、操作、堆叠等)。YCB Object and Model Set提供了标准化的物体模型和评估协议,推动了机器人操作算法的发展,Dex-Net、Contact-GraspNet、GPD等经典算法都在该数据集上进行了评估。该数据集被广泛应用于机器人操作研究和工业应用中。

提供77个日常物体的3D模型、高分辨率图像和物理属性,覆盖多种物体类别

基准测试
Motion Planning Benchmark
Rice大学

Motion Planning Benchmark是机器人运动规划领域的标准化评估基准测试集合,包含多种规划环境和任务。该基准测试涵盖了2D规划、3D规划、机械臂规划、移动机器人规划等多种场景,提供了标准化的规划评估协议和指标,包括规划时间、路径长度、成功率、碰撞检测次数等。该基准测试为研究机器人运动规划、基于采样的规划、基于优化的规划等方向提供了重要的评估平台,是运动规划领域最广泛使用的基准测试之一。

运动规划算法评估

基准测试
COCO Benchmark
微软

COCO(Common Objects in Context)是2014年由微软等机构发布的大规模图像识别、分割和描述数据集,包含超过33万张图像、250万个实例标注、80个物体类别。COCO采用复杂场景和多物体标注方式,提供了标准化的目标检测、实例分割、关键点检测、图像描述等评估协议和指标。该基准测试为研究计算机视觉、目标检测、图像分割等方向提供了重要的评估平台,是计算机视觉领域最广泛使用的基准测试之一。

目标检测、实例分割、关键点检测、图像描述评估

基准测试
Atari 2600 Games: A Benchmark for Deep Reinforcement Learning
具身智能资料库

Atari 2600游戏是深度强化学习的经典基准测试,由DeepMind在DQN论文中提出,包含57个Atari 2600游戏环境。该基准测试使用统一的观测空间和动作空间,能够有效评估强化学习算法在多种任务上的性能,是深度强化学习研究领域最经典的基准测试之一。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
TUM State Estimation
慕尼黑工业大学(TUM)

TUM State Estimation是由慕尼黑工业大学(TUM)计算机视觉组发布的RGB-D和视觉惯性状态估计基准测试,是视觉状态估计领域最权威的基准之一。该基准提供了多个室内场景的RGB-D视频序列和视觉惯性数据,包含了多种运动模式(手持、机器人、无人机等),提供了高精度的运动捕捉系统作为真值,支持多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE、均方根误差RMSE等)。TUM State Estimation支持多种状态估计算法(视觉里程计、RGB-D SLAM、视觉惯性里程计VIO等),能够在真实世界数据上评估和比较不同算法的性能。该基准包含了多种挑战性场景(动态物体、光照变化、纹理缺失、快速运动等),能够全面评估算法的鲁棒性和精度。该基准推动了视觉状态估计算法的发展,多种经典和最新的视觉SLAM和VIO算法(如ORB-SLAM、RTAB-Map、VINS-Mono等)都在该基准上进行了评估。该基准被广泛应用于移动机器人、AR/VR和自动驾驶等领域的研究和开发中。

多个室内场景RGB-D和视觉惯性数据,多种运动模式,高精度运动捕捉真值,多种挑战性场景

基准测试
KITTI State Estimation
KIT & TRI

KITTI State Estimation是由卡尔斯鲁厄理工学院(KIT)和丰田美国技术研究院(TRI)联合发布的自动驾驶状态估计基准测试,是自动驾驶状态估计领域最经典的基准之一。该基准基于KITTI自动驾驶数据集,提供了多个城市道路场景的状态估计问题,包含了激光雷达点云、立体相机图像、GPS/IMU组合导航等多种传感器数据,提供了高精度的GPS/IMU组合导航作为真值,支持多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE、均方根误差RMSE等)。KITTI State Estimation支持多种状态估计算法(视觉里程计、激光里程计、多传感器融合等),能够在真实世界数据上评估和比较不同算法的性能。该基准推动了自动驾驶状态估计算法的发展,多种经典和最新的状态估计算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和导航等领域的研究和开发中。

基于KITTI数据集,多个城市道路场景状态估计问题,激光雷达+立体相机+GPS/IMU,高精度真值

基准测试
KITTI Motion Planning
KIT & TRI

KITTI Motion Planning是由卡尔斯鲁厄理工学院(KIT)和丰田美国技术研究院(TRI)联合发布的自动驾驶运动规划基准测试,是自动驾驶运动规划领域最经典的基准之一。该基准基于KITTI自动驾驶数据集,提供了多个城市道路场景的运动规划问题,包含了激光雷达点云、立体相机图像、GPS/IMU组合导航等多种传感器数据,提供了高精度的真值和标准化的评估协议,支持多种评估指标(碰撞率、轨迹误差、计算时间等)。KITTI Motion Planning支持多种运动规划算法(基于搜索、基于优化、基于学习等),能够在真实世界数据上评估和比较不同算法的性能。该基准推动了自动驾驶运动规划算法的发展,多种经典和最新的运动规划算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和智能交通等领域的研究和开发中。

基于KITTI数据集,多个城市道路场景运动规划问题,激光雷达+立体相机+GPS/IMU,高精度真值

基准测试
OMPL Motion Planning Benchmark
Rice大学Kavraki实验室

OMPL Motion Planning Benchmark是由Rice大学Kavraki实验室维护的机器人运动规划基准测试,是机器人运动规划领域最权威的基准之一。该基准提供了多种经典的运动规划问题,包括高维机械臂运动规划、移动机器人导航、多机器人协调等,提供了标准化的评估协议和多种评估指标(规划时间、路径长度、成功率、碰撞率等)。OMPL Motion Planning Benchmark支持多种运动规划算法(RRT、RRT-Connect、PRM、EST、CHOMP、TrajOpt等),能够公平地比较不同算法在各种问题上的性能。该基准推动了机器人运动规划算法的发展,多种经典和最新的运动规划算法都在该基准上进行了评估。该基准被广泛应用于机器人运动规划、自动化和自动驾驶等领域的研究和开发中。

提供多种经典运动规划问题,标准化评估协议,多种评估指标

基准测试
KITTI Odometry Benchmark
KIT & TRI

KITTI Odometry Benchmark是由卡尔斯鲁厄理工学院(KIT)和丰田美国技术研究院(TRI)联合发布的视觉里程计/激光里程计基准测试,是自动驾驶SLAM领域最权威的基准之一。该基准提供了22个驾驶序列,包含了约40000帧立体相机图像和激光雷达点云,覆盖了城市道路、高速公路和乡村道路等多种场景,提供了高精度的GPS/IMU组合导航作为真值,支持多种评估指标(平均平移误差、平均旋转误差等)。KITTI Odometry Benchmark推动了视觉里程计和激光SLAM算法的发展,ORB-SLAM、VINS-Mono、LOAM、Cartographer等经典算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶、移动机器人和SLAM等领域的研究和开发中。

提供22个驾驶序列,约40000帧立体图像和激光点云,GPS/IMU组合导航真值

基准测试
TUM RGB-D SLAM Benchmark
慕尼黑工业大学(TUM)

TUM RGB-D SLAM Benchmark是由慕尼黑工业大学(TUM)计算机视觉组发布的RGB-D SLAM基准测试,是RGB-D SLAM领域最权威的基准之一。该基准提供了39个RGB-D视频序列,包含了多种室内场景(办公室、走廊、桌面等)和多种运动模式(手持、机器人、无人机等),提供了高精度的运动捕捉系统作为真值,支持多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE等)。TUM RGB-D SLAM Benchmark推动了RGB-D SLAM算法的发展,PTAM、ORB-SLAM、RTAB-Map、ElasticFusion等经典算法都在该基准上进行了评估。该基准被广泛应用于视觉SLAM、3D重建和AR/VR等领域的研究和开发中。

提供39个RGB-D视频序列,包含多种室内场景和运动模式,高精度运动捕捉真值

基准测试
KITTI 3D Object Detection
KIT & TRI

KITTI 3D Object Detection是由卡尔斯鲁厄理工学院(KIT)和丰田美国技术研究院(TRI)联合发布的3D目标检测基准测试,是自动驾驶领域最权威的3D目标检测基准之一。该基准提供了7481张训练图像和7518张测试图像,包含了汽车、行人、骑行者等3类目标的3D边界框标注,支持多种评估指标(3D AP、BEV AP、2D AP等)。KITTI 3D Object Detection基准推动了基于点云、图像和多模态融合的3D目标检测算法的发展,VoxelNet、PointPillars、SECOND、Part-A2、PV-RCNN等经典算法都在该基准上进行了评估。该基准被广泛应用于自动驾驶3D感知研究和工业应用中。

提供7481张训练图像和7518张测试图像,包含汽车、行人、骑行者等3类目标的3D边界框标注

数据集评测
TUM RGB-D
慕尼黑工业大学

TUM RGB-D是由慕尼黑工业大学创建的RGB-D SLAM数据集,是RGB-D视觉SLAM领域最具影响力的基准测试数据集之一。该数据集包含了室内场景下使用Microsoft Kinect传感器采集的RGB图像、深度图像和准确的地面真值轨迹,涵盖了静态场景、动态场景、纹理缺失场景、结构缺失场景等多种具有挑战性的场景。TUM RGB-D数据集提供了详细的标注和评估工具,支持RGB-D SLAM算法的轨迹精度评估,使用ATE(绝对轨迹误差)和RPE(相对位姿误差)作为主要评估指标,被广泛应用于RGB-D SLAM、室内定位、机器人感知等领域的研究和开发中。

提供室内场景下的RGB图像、深度图像和准确的地面真值轨迹,支持RGB-D SLAM算法的轨迹精度评估

数据集评测
KITTI
卡尔斯鲁厄理工学院、丰田工业大学芝加哥分校

KITTI是由卡尔斯鲁厄理工学院和丰田工业大学芝加哥分校联合创建的自动驾驶数据集,是计算机视觉和机器人领域最具影响力的基准测试数据集之一。该数据集包含了真实城市、乡村和高速公路场景下的立体图像、光流、视觉里程计、3D物体检测和3D跟踪等数据,使用配备了高分辨率彩色/灰度立体相机、Velodyne 3D激光雷达和GPS/IMU导航系统的改装车辆采集。KITTI数据集提供了详细的标注和评估工具,支持立体匹配、光流、视觉里程计/SLAM、3D物体检测、3D跟踪等多种任务的评估,被广泛应用于自动驾驶、机器人感知、计算机视觉等领域的研究和开发中。

提供真实城市、乡村和高速公路场景下的多模态传感器数据,支持立体匹配、光流、视觉里程计/SLAM、3D物体检测、3D跟踪等多种任务的评估

基准测试
MuJoCo Benchmark
DeepMind

MuJoCo Benchmark是基于MuJoCo物理仿真引擎的机器人控制和强化学习基准测试集合,包含多种连续控制任务。MuJoCo Benchmark提供了从简单控制任务到复杂机器人操作任务的多种环境,支持多种观测空间和动作空间,提供了标准化的评估协议和指标。该基准测试为研究连续控制强化学习、机器人控制、基于模型的强化学习等方向提供了重要的评估平台,是连续控制强化学习领域最广泛使用的基准测试之一。

连续控制强化学习任务评估

基准测试
MuJoCo: A Physics Engine for Model-Based Control and Robotics
具身智能资料库

MuJoCo是一个用于模型基控制和机器人学的物理引擎,由Roboti LLC开发,提供了刚体动力学、碰撞检测、关节约束、接触动力学等功能。该引擎被广泛应用于机器人仿真、强化学习、生物力学等领域,能够有效评估机器人控制算法在仿真环境中的性能,是机器人仿真领域的重要基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
MuJoCo: A Physics Engine for Model-Based Control
具身智能资料库

MuJoCo是一个用于模型控制的物理引擎,由Roboti LLC开发,提供了高精度的物理仿真和丰富的机器人模型库。该引擎支持多种机器人平台和多种控制算法,是机器人研究领域最广泛使用的物理仿真引擎之一。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Prosthetic Hand Evaluation
假肢研究社区

Prosthetic Hand Evaluation是假肢手领域的标准化评测基准,用于评估和比较不同假肢手系统和控制算法的性能。该基准提供了多种假肢手任务场景,包括日常活动(ADL)、物体抓取、精细操作、手势表达、力量输出等,支持多种假肢手类型(肌电假肢、脑控假肢、体感假肢等)和控制方式(肌电控制、模式识别、直接神经接口等)。Prosthetic Hand Evaluation支持多种评估指标,包括任务完成率、完成时间、抓取成功率、控制精度、用户满意度、学习曲线、假手接受度等,提供了标准化的评估协议和临床评估方法(如SHAP、Jebsen-Taylor等)。该基准推动了假肢手技术的发展,多种经典和最新的假肢手设计和控制算法都在该基准上进行了评估和对比。该基准被广泛应用于假肢研究、康复工程、神经接口、人机交互等领域的研究和开发中,是假肢手系统评估的标准基准之一。

多种假肢手任务场景,多种假肢手类型和控制方式,标准化临床评估方法,多维度性能指标

基准测试
Human-Robot Interaction Benchmark
HRI研究社区

Human-Robot Interaction Benchmark(HRI Benchmark)是人机交互领域的标准化评测基准,用于评估和比较不同人机交互系统和算法的性能。该基准提供了多种人机交互任务场景,包括协作装配、共同搬运、对话交互、手势交互、情感交互、社交陪伴等,支持多种机器人平台(工业机器人、协作机器人、社交机器人、服务机器人等)和交互方式(语音、手势、触摸、视线、脑电等)。HRI Benchmark支持多种评估指标,包括任务完成率、完成时间、交互流畅度、用户信任度、用户满意度、安全性、自然度等,提供了标准化的评估协议和用户研究方法(如Wizard of Oz、受控实验、田野研究等)。该基准推动了人机交互技术的发展,多种经典和最新的人机交互算法(如意图识别、动作预测、自然语言生成、情感计算等)都在该基准上进行了评估和对比。该基准被广泛应用于人机交互研究、社交机器人、服务机器人、工业协作、教育娱乐等领域的研究和开发中,是人机交互系统评估的标准基准之一。

多种人机交互任务场景,多种机器人平台和交互方式,标准化用户研究方法,多维度性能指标

基准测试
Haptic Feedback Evaluation
CHAI3D社区

Haptic Feedback Evaluation是触觉反馈领域的标准化评测基准,用于评估和比较不同触觉反馈系统和算法的性能。该基准提供了多种触觉反馈任务场景,包括虚拟物体识别、纹理辨别、力大小匹配、远程操作精度、手术仿真等,支持多种触觉设备(力反馈设备、振动反馈设备、数据手套等)和应用场景。Haptic Feedback Evaluation支持多种评估指标,包括触觉分辨率、力精度、延迟、稳定性、用户满意度、任务完成时间等,提供了标准化的评估协议和心理物理学实验方法。该基准推动了触觉反馈技术的发展,多种经典和最新的触觉渲染算法(如基于约束的渲染、体素渲染、摩擦模型等)和触觉设备都在该基准上进行了评估和对比。该基准被广泛应用于触觉反馈研究、机器人遥操作、虚拟现实、医疗仿真、人机交互等领域的研究和开发中,是触觉反馈系统评估的标准基准之一。

多种触觉反馈任务场景,多种触觉设备,标准化心理物理学实验方法,多维度性能指标

基准测试
ROS State Estimation
ROS社区

ROS State Estimation是基于机器人操作系统(ROS)生态的状态估计基准测试和工具集合,是机器人状态估计领域最流行的开源基准之一。该基准基于ROS框架,提供了多种经典和最新的状态估计算法实现(如robot_localization、imu_filter_madgwick、robot_pose_ekf、rtabmap_ros等),支持多种传感器(IMU、相机、激光雷达、GPS、轮式里程计等)的融合估计,提供了标准化的评估协议和多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE、均方根误差RMSE等)。ROS State Estimation支持多种机器人平台(移动机器人、无人机、人形机器人等)和应用场景(室内导航、室外导航、SLAM等),能够方便地集成和评估不同的状态估计算法。该基准推动了机器人状态估计算法的发展和应用,多种经典和最新的状态估计算法都提供了ROS接口和在该基准上的评估结果。该基准被广泛应用于移动机器人、无人机、自动驾驶等领域的研究和开发中,是机器人状态估计研究和开发的重要工具。

基于ROS框架,多种状态估计算法实现,多传感器融合,标准化评估协议,多种机器人平台和应用场景

基准测试
MIT State Estimation
MIT CSAIL

MIT State Estimation是由麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)和海洋工程系发布的状态估计基准测试,是状态估计和SLAM领域经典的基准之一。该基准提供了多个室内和室外场景的机器人和车辆数据,包含了激光雷达、相机、IMU、GPS、轮式里程计等多种传感器数据,提供了高精度的运动捕捉系统和GPS/IMU组合导航作为真值,支持多种评估指标(绝对轨迹误差ATE、相对位姿误差RPE、均方根误差RMSE等)。MIT State Estimation支持多种状态估计算法(激光SLAM、视觉SLAM、多传感器融合、因子图优化等),能够在真实世界数据上评估和比较不同算法的性能。该基准包含了多种挑战性场景(长走廊、动态物体、回环、GPS拒止环境等),能够全面评估算法的鲁棒性和精度。该基准推动了状态估计和SLAM算法的发展,多种经典和最新的SLAM算法(如GMapping、Cartographer、ORB-SLAM等)都在该基准上进行了评估。该基准被广泛应用于移动机器人、自动驾驶和导航等领域的研究和开发中。

多个室内外场景机器人和车辆数据,激光雷达+相机+IMU+GPS+轮式里程计,高精度真值,多种挑战性场景

数据集评测
MIT Stata Center Dataset
MIT CSAIL

MIT Stata Center Dataset是由麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)发布的室内SLAM数据集,是室内SLAM领域最经典的数据集之一。该数据集提供了MIT Stata Center大楼内多个楼层的激光雷达和相机数据,包含了约2.4公里的行走路径和约14000帧激光扫描数据,提供了高精度的运动捕捉系统作为真值,支持多种SLAM任务(2D SLAM、3D SLAM、视觉SLAM等)。MIT Stata Center Dataset具有长走廊、动态物体、纹理缺失等挑战性场景,能够有效评估SLAM算法在复杂室内环境下的鲁棒性和精度。该数据集推动了室内SLAM算法的发展,GMapping、Hector SLAM、Karto SLAM等经典算法都在该数据集上进行了评估。该数据集被广泛应用于移动机器人、服务机器人和SLAM等领域的研究和开发中。

提供MIT Stata Center大楼内多个楼层的激光雷达和相机数据,约2.4公里路径和约14000帧激光扫描,运动捕捉真值

数据集评测
RAWSEEDS
欧盟RAWSEEDS项目

RAWSEEDS (Robotics Applications for WebSites: European Initiative on Engineering and Development of Software)是由欧盟资助的机器人SLAM数据集项目,是移动机器人SLAM领域最全面的数据集之一。该数据集提供了多个室内和室外场景的多传感器数据,包括激光雷达、立体相机、单目相机、声呐、里程计和IMU等,提供了高精度的运动捕捉系统和全站仪作为真值,支持多种SLAM任务(2D/3D SLAM、视觉SLAM、激光SLAM等)。RAWSEEDS数据集推动了多传感器融合SLAM算法的发展,GMapping、Hector SLAM、ORB-SLAM等经典算法都在该数据集上进行了评估。该数据集被广泛应用于移动机器人、服务机器人和SLAM等领域的研究和开发中。

提供多个室内外场景的多传感器数据,激光雷达+立体相机+单目相机+声呐+里程计+IMU,运动捕捉和全站仪真值

基准测试
Brain-Computer Interface Benchmark
BCI Competition组委会

Brain-Computer Interface Benchmark(BCI Benchmark)是脑机接口领域的标准化评测基准,用于评估和比较不同脑机接口系统和算法的性能。该基准提供了多种脑机接口任务场景,包括运动想象、P300拼写器、SSVEP控制、情绪识别、机器人控制等,支持多种脑电采集设备(EEG头环、EEG帽、植入式电极等)和信号处理算法。BCI Benchmark支持多种评估指标,包括分类准确率、信息传输速率(ITR)、用户训练时间、系统延迟、用户满意度、假阳性率等,提供了标准化的评估协议和公开数据集(如BCI Competition数据集)。该基准推动了脑机接口技术的发展,多种经典和最新的脑电信号处理算法(如CSP、FBCSP、深度学习等)和脑机接口系统都在该基准上进行了评估和对比。该基准被广泛应用于脑机接口研究、神经工程、康复医学、人机交互等领域的研究和开发中,是脑机接口算法评估的标准基准之一。

多种脑机接口任务场景,多种脑电采集设备,标准化评估协议,公开数据集,多维度性能指标

基准测试
Box2D: A 2D Physics Engine for Games
具身智能资料库

Box2D是一个用于游戏的2D物理引擎,由Erin Catto开发,提供了刚体动力学、碰撞检测、关节约束等功能。该引擎被广泛应用于游戏开发、物理仿真、机器人仿真等领域,能够有效评估2D物理仿真算法的性能,是2D物理仿真领域的经典基准测试。

基于公开资料、官方文档和学术论文的结构化资料评测整理。

基准测试
Gazebo Robotics
Open Robotics

Gazebo Robotics是由Open Robotics维护的开源机器人仿真器,是机器人学领域最流行的仿真环境之一。Gazebo提供了完整的机器人仿真环境,包括多种机器人模型、多种传感器和多种执行器,支持物理仿真、可视化和编程接口。Gazebo支持多种物理引擎(ODE、Bullet、SimBody、DART等),能够模拟复杂的物理现象(碰撞、摩擦、重力等),提供了高保真度的仿真结果。Gazebo与ROS(机器人操作系统)深度集成,提供了丰富的ROS接口和工具,支持多种编程语言(C++、Python等),提供了丰富的示例和教程,适用于机器人学研究、教育和开发。Gazebo是开源软件,采用Apache 2.0许可证,被广泛应用于学术研究和工业应用中。

提供完整的机器人仿真环境,支持多种物理引擎、传感器和执行器,与ROS深度集成