Open-vocabulary Object Manipulation: A Review
该论文是机器人开放词汇物体操作领域的综合性综述，系统梳理了机器人根据自然语言指令操作任意类别物体的各类方法。开放词汇操作是实现通用机器人的关键能力，要求机器人能够理解开放集的语言指令、识别任意类别物体、泛化到未见过的物体和任务。论文将方法分为四大类：1）视觉-语言模型（VLM）驱动的操作，包括CLIP、CLIPort、PerAct、RT-1/RT-2等基于VLM的操作策略；2）开放词汇检测与分割，包括Open-Vocabulary DETR、Grounding DINO、SAM、CLIPSeg等开放词汇感知模型；3）语言条件操作策略，包括指令跟随、语言条件强化学习、语言条件模仿学习等；4）3D开放词汇操作，包括3D视觉-语言模型、点云-语言对齐、3D开放词汇检测等。论文详细讨论了语言-视觉-动作的对齐方法、开放词汇泛化策略、零样本/少样本学习、Sim2Real迁移，以及在家庭服务、仓储物流、工业装配等领域的应用。该综述引用超过500次，是开放词汇操作领域的重要参考资料，代表了当前具身智能和通用机器人的前沿方向。
主体信息
该论文是机器人开放词汇物体操作领域的综合性综述，系统梳理了机器人根据自然语言指令操作任意类别物体的各类方法。开放词汇操作是实现通用机器人的关键能力，要求机器人能够理解开放集的语言指令、识别任意类别物体、泛化到未见过的物体和任务。论文将方法分为四大类：1）视觉-语言模型（VLM）驱动的操作，包括CLIP、CLIPort、PerAct、RT-1/RT-2等基于VLM的操作策略；2）开放词汇检测与分割，包括Open-Vocabulary DETR、Grounding DINO、SAM、CLIPSeg等开放词汇感知模型；3）语言条件操作策略，包括指令跟随、语言条件强化学习、语言条件模仿学习等；4）3D开放词汇操作，包括3D视觉-语言模型、点云-语言对齐、3D开放词汇检测等。论文详细讨论了语言-视觉-动作的对齐方法、开放词汇泛化策略、零样本/少样本学习、Sim2Real迁移，以及在家庭服务、仓储物流、工业装配等领域的应用。该综述引用超过500次，是开放词汇操作领域的重要参考资料，代表了当前具身智能和通用机器人的前沿方向。