Preference Learning Toolkit for Robotics
Preference Learning Toolkit for Robotics是一个面向机器人偏好学习的开源工具包，提供了偏好反馈收集、奖励模型学习、策略优化和主动查询等完整功能。工具包支持多种偏好学习范式，包括基于偏好的强化学习（成对比较/排名/评分）、基于人类反馈的强化学习（RLHF，奖励模型+PPO/DPO）、主动偏好学习（不确定性采样/信息增益采样）、协同偏好学习（共享自主性/人机协作）等；支持多种偏好反馈接口，包括图形化界面、VR/AR、遥操作、众包平台等；支持多种奖励模型表示，包括线性模型、神经网络、高斯过程、Transformer等；支持多种策略优化算法，包括PPO、SAC、DPO、KTO等；支持多种主动查询策略，包括基于不确定性的查询、基于信息增益的查询、基于分歧的查询等。工具包基于Python和PyTorch实现，提供了与OpenAI Gym/Gymnasium、MuJoCo、PyBullet、ROS、Hugging Face等工具的接口，支持多种机器人任务和真实机器人部署。工具包采用Apache 2.0开源协议，GitHub星标超过500，是机器人偏好学习领域使用最广泛的开源工具之一。
项目说明
Preference Learning Toolkit for Robotics是一个面向机器人偏好学习的开源工具包，提供了偏好反馈收集、奖励模型学习、策略优化和主动查询等完整功能。工具包支持多种偏好学习范式，包括基于偏好的强化学习（成对比较/排名/评分）、基于人类反馈的强化学习（RLHF，奖励模型+PPO/DPO）、主动偏好学习（不确定性采样/信息增益采样）、协同偏好学习（共享自主性/人机协作）等；支持多种偏好反馈接口，包括图形化界面、VR/AR、遥操作、众包平台等；支持多种奖励模型表示，包括线性模型、神经网络、高斯过程、Transformer等；支持多种策略优化算法，包括PPO、SAC、DPO、KTO等；支持多种主动查询策略，包括基于不确定性的查询、基于信息增益的查询、基于分歧的查询等。工具包基于Python和PyTorch实现，提供了与OpenAI Gym/Gymnasium、MuJoCo、PyBullet、ROS、Hugging Face等工具的接口，支持多种机器人任务和真实机器人部署。工具包采用Apache 2.0开源协议，GitHub星标超过500，是机器人偏好学习领域使用最广泛的开源工具之一。