Knowledge Distillation for Robotics: A Review

Knowledge Distillation for Robotics: A Review是一篇系统综述机器人学习中知识蒸馏技术的论文，涵盖响应式蒸馏、特征式蒸馏、关系式蒸馏、自蒸馏、跨模态蒸馏等多种知识蒸馏方法。论文分析了知识蒸馏在机器人操作、导航、感知等任务中的应用效果，对比了不同蒸馏策略对小模型性能提升的影响，讨论了教师模型选择、蒸馏温度、损失函数设计等关键问题。该论文适用于机器人学习研究者，帮助理解如何通过知识蒸馏将大模型的知识迁移到资源受限的机器人小模型，来源机构为国际机器人学习研究社区。