学术前沿

NeRF for Robotics: A Survey

该论文是神经辐射场(Neural Radiance Fields, NeRF)在机器人领域应用的综合性综述,系统梳理了NeRF在机器人感知、规划、控制和仿真中的各类应用。NeRF是一种用于3D场景表示和新视角合成的深度学习方法,通过多层感知机(MLP)将空间位置和观察方向映射为颜色和密度,能够实现高保真的3D场景重建。论文将NeRF在机器人中的应用分为五大类:1)机器人感知,包括3D场景重建、语义分割、目标检测、姿态估计、深度估计等;2)机器人导航与规划,包括基于NeRF的路径规划、避障、探索、语义导航等;3)机器人操作,包括基于NeRF的抓取规划、操作规划、可变形物体操作等;4)机器人仿真与Sim2Real,包括基于NeRF的可微仿真、域随机化、Sim2Real迁移等;5)机器人学习,包括基于NeRF的强化学习、模仿学习、世界模型等。论文详细讨论了NeRF的加速方法(Instant-NGP、Plenoxels、3D高斯溅射)、动态NeRF、语义NeRF、可微NeRF、NeRF与SLAM的结合(NICE-SLAM、Point-SLAM),以及在移动机器人、机械臂、自动驾驶、无人机等领域的应用。该综述引用超过400次,是NeRF在机器人领域应用的重要参考资料。

论文

主体信息

该论文是神经辐射场(Neural Radiance Fields, NeRF)在机器人领域应用的综合性综述,系统梳理了NeRF在机器人感知、规划、控制和仿真中的各类应用。NeRF是一种用于3D场景表示和新视角合成的深度学习方法,通过多层感知机(MLP)将空间位置和观察方向映射为颜色和密度,能够实现高保真的3D场景重建。论文将NeRF在机器人中的应用分为五大类:1)机器人感知,包括3D场景重建、语义分割、目标检测、姿态估计、深度估计等;2)机器人导航与规划,包括基于NeRF的路径规划、避障、探索、语义导航等;3)机器人操作,包括基于NeRF的抓取规划、操作规划、可变形物体操作等;4)机器人仿真与Sim2Real,包括基于NeRF的可微仿真、域随机化、Sim2Real迁移等;5)机器人学习,包括基于NeRF的强化学习、模仿学习、世界模型等。论文详细讨论了NeRF的加速方法(Instant-NGP、Plenoxels、3D高斯溅射)、动态NeRF、语义NeRF、可微NeRF、NeRF与SLAM的结合(NICE-SLAM、Point-SLAM),以及在移动机器人、机械臂、自动驾驶、无人机等领域的应用。该综述引用超过400次,是NeRF在机器人领域应用的重要参考资料。