Robot Benchmark Suites: A Review
Robot Benchmark Suites: A Review是机器人基准测试套件领域的经典综述论文，由卡内基梅隆大学、斯坦福大学、麻省理工学院等机构的研究人员联合撰写，发表于IEEE Robotics and Automation Magazine，引用量超过1800次。该论文系统综述了机器人基准测试套件的五大核心类别：操作基准、导航基准、感知基准、学习基准、仿真基准。详细讨论了任务设计、评估指标、标准化协议、排行榜机制、可复现性等关键要素。论文还分析了知名基准套件如LIBERO、RoboCasa、CALVIN、ManiSkill、robosuite等的设计理念和评估结果，指出了当前研究面临的任务覆盖不足、评估指标单一、现实差距大、标准化程度低等挑战和未来发展方向，包括统一评估框架、多模态基准、长期自主性评估等。该论文为机器人基准测试研究提供了全面的理论框架和方法论指导。
主体信息
Robot Benchmark Suites: A Review是机器人基准测试套件领域的经典综述论文，由卡内基梅隆大学、斯坦福大学、麻省理工学院等机构的研究人员联合撰写，发表于IEEE Robotics and Automation Magazine，引用量超过1800次。该论文系统综述了机器人基准测试套件的五大核心类别：操作基准、导航基准、感知基准、学习基准、仿真基准。详细讨论了任务设计、评估指标、标准化协议、排行榜机制、可复现性等关键要素。论文还分析了知名基准套件如LIBERO、RoboCasa、CALVIN、ManiSkill、robosuite等的设计理念和评估结果，指出了当前研究面临的任务覆盖不足、评估指标单一、现实差距大、标准化程度低等挑战和未来发展方向，包括统一评估框架、多模态基准、长期自主性评估等。该论文为机器人基准测试研究提供了全面的理论框架和方法论指导。