Vision-Language Navigation Benchmark是视觉语言导航领域的标准化评测基准,用于评估和比较不同视觉语言导航算法在机器人任务中的性能。该基准提供了多种视觉语言导航测试场景,包括室内视觉语言导航(在真实室内环境/仿真室内环境中根据自然语言指令导航,包括R2R/R4R/RxR等数据集)、室外视觉语言导航(在城市/校园/户外环境中根据语言指令导航,包括Touchdown/CVDN等数据集)、指令跟随(精确遵循复杂/模糊/多步语言指令,包括REVERIE/R2R-CE等数据集)、问答导航(在导航过程中回答关于环境的问题,包括EQA/VQA-E等)、对话导航(通过多轮对话澄清指令并导航,包括HANNA/NDH等数据集)、sim-to-real导航(将仿真中学习的导航策略迁移到真实机器人)等,支持多种视觉语言导航方法和多种评估设置(不同环境复杂度/不同指令长度/不同语言歧义性)。Vision-Language Navigation Benchmark支持多种评估指标,包括导航性能(成功率/路径长度/导航误差/SPL/ORACLE成功率)、语言理解性能(指令遵循度/实体grounding准确率/歧义消解能力)、泛化性能(未见过环境/未见过指令/跨域泛化)、效率性能(导航时间/步数/计算开销)、人机交互性能(对话效率/用户满意度/澄清次数)等,提供了标准化的评估协议和多个公开数据集(R2R/R4R/Touchdown/REVERIE/CVDN/R2R-CE/RxR/HANNA等)。该基准推动了视觉语言导航技术的发展,多种经典和最新的视觉语言导航算法都在该基准上进行了评估和对比。该基准被广泛应用于服务机器人、家庭助手、导盲机器人、博物馆导览、仓储物流等领域的视觉语言导航系统研究和开发中,是视觉语言导航算法评估的标准基准之一。
Vision-Language Navigation Benchmark
Vision-Language Navigation Benchmark是视觉语言导航领域的标准化评测基准,用于评估和比较不同视觉语言导航算法在机器人任务中的性能。该基准提供了多种视觉语言导航测试场景,包括室内视觉语言导航(在真实室内环境/仿真室内环境中根据自然语言指令导航,包括R2R/R4R/RxR等数据集)、室外视觉语言导航(在城市/校园/户外环境中根据语言指令导航,包括Touchdown/CVDN等数据集)、指令跟随(精确遵循复杂/模糊/多步语言指令,包括REVERIE/R2R-CE等数据集)、问答导航(在导航过程中回答关于环境的问题,包括EQA/VQA-E等)、对话导航(通过多轮对话澄清指令并导航,包括HANNA/NDH等数据集)、sim-to-real导航(将仿真中学习的导航策略迁移到真实机器人)等,支持多种视觉语言导航方法和多种评估设置(不同环境复杂度/不同指令长度/不同语言歧义性)。Vision-Language Navigation Benchmark支持多种评估指标,包括导航性能(成功率/路径长度/导航误差/SPL/ORACLE成功率)、语言理解性能(指令遵循度/实体grounding准确率/歧义消解能力)、泛化性能(未见过环境/未见过指令/跨域泛化)、效率性能(导航时间/步数/计算开销)、人机交互性能(对话效率/用户满意度/澄清次数)等,提供了标准化的评估协议和多个公开数据集(R2R/R4R/Touchdown/REVERIE/CVDN/R2R-CE/RxR/HANNA等)。该基准推动了视觉语言导航技术的发展,多种经典和最新的视觉语言导航算法都在该基准上进行了评估和对比。该基准被广泛应用于服务机器人、家庭助手、导盲机器人、博物馆导览、仓储物流等领域的视觉语言导航系统研究和开发中,是视觉语言导航算法评估的标准基准之一。
测试方法与条件
多种视觉语言导航测试场景,多种视觉语言导航方法和评估设置,标准化评估协议,多个公开数据集,多维度性能指标