Open-vocabulary Manipulation Framework
Open-vocabulary Manipulation Framework是一个面向机器人开放词汇物体操作的开源框架，提供了开放词汇感知、语言理解、操作策略学习和零样本泛化等完整功能。框架支持多种开放词汇感知模型，包括CLIP、CLIPort、Grounding DINO、SAM、Open-Vocabulary DETR、3D视觉-语言模型等；支持多种语言条件操作策略，包括指令跟随、语言条件模仿学习、语言条件强化学习、VLA模型（RT-1/RT-2/OpenVLA）等；支持多种3D开放词汇操作方法，包括点云-语言对齐、3D开放词汇检测、3D语义分割等；支持多种零样本/少样本学习方法，包括提示工程、上下文学习、微调、LoRA等；支持多种Sim2Real迁移方法，包括域随机化、域适应、真实世界微调等。框架基于Python和PyTorch实现，提供了与ROS、MoveIt、MuJoCo、PyBullet、Gazebo、Hugging Face、大语言模型API等工具的接口，支持多种机械臂和灵巧手平台。框架采用Apache 2.0开源协议，GitHub星标超过800，是开放词汇操作领域使用最广泛的开源框架之一，代表了当前具身智能和通用机器人的前沿方向。
项目说明
Open-vocabulary Manipulation Framework是一个面向机器人开放词汇物体操作的开源框架，提供了开放词汇感知、语言理解、操作策略学习和零样本泛化等完整功能。框架支持多种开放词汇感知模型，包括CLIP、CLIPort、Grounding DINO、SAM、Open-Vocabulary DETR、3D视觉-语言模型等；支持多种语言条件操作策略，包括指令跟随、语言条件模仿学习、语言条件强化学习、VLA模型（RT-1/RT-2/OpenVLA）等；支持多种3D开放词汇操作方法，包括点云-语言对齐、3D开放词汇检测、3D语义分割等；支持多种零样本/少样本学习方法，包括提示工程、上下文学习、微调、LoRA等；支持多种Sim2Real迁移方法，包括域随机化、域适应、真实世界微调等。框架基于Python和PyTorch实现，提供了与ROS、MoveIt、MuJoCo、PyBullet、Gazebo、Hugging Face、大语言模型API等工具的接口，支持多种机械臂和灵巧手平台。框架采用Apache 2.0开源协议，GitHub星标超过800，是开放词汇操作领域使用最广泛的开源框架之一，代表了当前具身智能和通用机器人的前沿方向。