Multimodal Sensor Fusion for Robotics: A Review
该论文是机器人多模态传感器融合领域的综合性综述，系统梳理了多模态传感器融合的原理、架构、算法和在各类机器人中的应用。多模态传感器融合通过整合视觉、激光、雷达、IMU、触觉、听觉、嗅觉等多种传感器的信息，能够克服单一传感器的局限性，提高感知系统的鲁棒性、准确性和冗余性，是实现复杂环境下可靠机器人感知的关键技术。论文将多模态融合方法分为三大类：1）数据级融合（早期融合），包括原始数据拼接、特征空间融合等；2）特征级融合（中期融合），包括特征拼接、特征加权、注意力机制融合等；3）决策级融合（晚期融合），包括投票、贝叶斯推理、D-S证据理论、模糊逻辑等。论文还讨论了融合架构，包括集中式融合、分布式融合、混合式融合，以及基于深度学习的端到端融合架构。论文详细讨论了视觉-激光融合、视觉-IMU融合、视觉-触觉融合、视觉-听觉融合、多模态语义融合等具体融合范式，以及在自动驾驶、移动机器人、服务机器人、工业机器人等场景的应用。该综述引用超过1000次，是机器人多模态传感器融合领域的重要参考资料。
主体信息
该论文是机器人多模态传感器融合领域的综合性综述，系统梳理了多模态传感器融合的原理、架构、算法和在各类机器人中的应用。多模态传感器融合通过整合视觉、激光、雷达、IMU、触觉、听觉、嗅觉等多种传感器的信息，能够克服单一传感器的局限性，提高感知系统的鲁棒性、准确性和冗余性，是实现复杂环境下可靠机器人感知的关键技术。论文将多模态融合方法分为三大类：1）数据级融合（早期融合），包括原始数据拼接、特征空间融合等；2）特征级融合（中期融合），包括特征拼接、特征加权、注意力机制融合等；3）决策级融合（晚期融合），包括投票、贝叶斯推理、D-S证据理论、模糊逻辑等。论文还讨论了融合架构，包括集中式融合、分布式融合、混合式融合，以及基于深度学习的端到端融合架构。论文详细讨论了视觉-激光融合、视觉-IMU融合、视觉-触觉融合、视觉-听觉融合、多模态语义融合等具体融合范式，以及在自动驾驶、移动机器人、服务机器人、工业机器人等场景的应用。该综述引用超过1000次，是机器人多模态传感器融合领域的重要参考资料。