Long-horizon Task Planning Benchmark是机器人长程任务规划研究社区维护的标准化评测基准,用于公平比较不同长程任务规划方法在各类长程任务上的性能。基准涵盖分层规划、符号-神经规划、基于技能的规划、目标条件规划、基于搜索的规划、大语言模型规划等多种长程任务规划范式,包括家务任务(整理房间、做饭、清洁)、工业装配(复杂产品装配、多步骤制造)、服务机器人(多步骤客户服务、酒店服务)、自动驾驶(长途驾驶、复杂路况)等多种长程任务类型,任务长度从10步到100步以上。基准提供了统一的任务接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和真实机器人平台。
Long-horizon Task Planning Benchmark
Long-horizon Task Planning Benchmark是机器人长程任务规划研究社区维护的标准化评测基准,用于公平比较不同长程任务规划方法在各类长程任务上的性能。基准涵盖分层规划、符号-神经规划、基于技能的规划、目标条件规划、基于搜索的规划、大语言模型规划等多种长程任务规划范式,包括家务任务(整理房间、做饭、清洁)、工业装配(复杂产品装配、多步骤制造)、服务机器人(多步骤客户服务、酒店服务)、自动驾驶(长途驾驶、复杂路况)等多种长程任务类型,任务长度从10步到100步以上。基准提供了统一的任务接口、标准化的评估协议、可复现的实验设置和公开的排行榜,支持多种仿真环境和真实机器人平台。
测试方法与条件
在统一长程任务下运行各规划方法,记录任务成功率、规划时间、步骤数、样本效率等指标,多次运行取平均值和标准差