学术前沿
sensVLA: Spatially-Grounded VLA for Autonomous Wheel Loader
sensVLA提出了一种空间grounding VLA架构,用于自主轮式装载机的自动驾驶。该模型将Qwen3-2B视觉语言模型与完全可训练的Transformer动作专家结合,通过流匹配速度回归进行训练。sensVLA将从前后融合激光雷达提取的鸟瞰图(BEV)特征通过专用交叉注意力路径直接路由到动作专家,同时VLM消费前后RGB视图。该方法在工程车辆自动驾驶场景中验证了空间感知VLA的有效性,适用于工程机械、自动驾驶和复杂户外导航等场景。
主体信息
sensVLA提出了一种空间grounding VLA架构,用于自主轮式装载机的自动驾驶。该模型将Qwen3-2B视觉语言模型与完全可训练的Transformer动作专家结合,通过流匹配速度回归进行训练。sensVLA将从前后融合激光雷达提取的鸟瞰图(BEV)特征通过专用交叉注意力路径直接路由到动作专家,同时VLM消费前后RGB视图。该方法在工程车辆自动驾驶场景中验证了空间感知VLA的有效性,适用于工程机械、自动驾驶和复杂户外导航等场景。