Preference Learning for Robotics: A Survey
该论文是机器人偏好学习领域的综合性综述，系统梳理了机器人通过人类偏好反馈学习行为和策略的各类方法。偏好学习的核心思想是：在难以设计明确奖励函数的机器人应用场景中，让人类通过成对比较、排名、评分等方式提供偏好反馈，机器人据此学习符合人类期望的行为。论文将偏好学习方法分为四大类：1）基于偏好的强化学习（Preference-based RL），包括基于成对比较的策略梯度、基于排名的Q学习等；2）基于人类反馈的强化学习（RLHF），包括奖励模型学习、策略优化、对齐方法等；3）主动偏好学习（Active Preference Learning），包括基于不确定性的查询选择、基于信息增益的查询选择等；4）协同偏好学习（Cooperative Preference Learning），包括人机协作中的偏好推断、共享自主性等。论文详细讨论了偏好表示方法、偏好反馈接口、偏好学习算法、偏好泛化方法，以及在机器人操作、自动驾驶、辅助机器人、对话系统等领域的应用。该综述引用超过800次，是机器人偏好学习领域的重要参考资料。
主体信息
该论文是机器人偏好学习领域的综合性综述，系统梳理了机器人通过人类偏好反馈学习行为和策略的各类方法。偏好学习的核心思想是：在难以设计明确奖励函数的机器人应用场景中，让人类通过成对比较、排名、评分等方式提供偏好反馈，机器人据此学习符合人类期望的行为。论文将偏好学习方法分为四大类：1）基于偏好的强化学习（Preference-based RL），包括基于成对比较的策略梯度、基于排名的Q学习等；2）基于人类反馈的强化学习（RLHF），包括奖励模型学习、策略优化、对齐方法等；3）主动偏好学习（Active Preference Learning），包括基于不确定性的查询选择、基于信息增益的查询选择等；4）协同偏好学习（Cooperative Preference Learning），包括人机协作中的偏好推断、共享自主性等。论文详细讨论了偏好表示方法、偏好反馈接口、偏好学习算法、偏好泛化方法，以及在机器人操作、自动驾驶、辅助机器人、对话系统等领域的应用。该综述引用超过800次，是机器人偏好学习领域的重要参考资料。