Maximum Entropy Inverse Reinforcement Learning

该论文由Brian D. Ziebart等人于2008年发表在AAAI，是最大熵逆强化学习（Maximum Entropy IRL, MaxEnt IRL）领域的经典论文。论文针对传统IRL方法存在的奖励函数歧义问题，提出了基于最大熵原理的IRL框架。核心贡献包括：1）提出了最大熵IRL的概率框架，将专家行为建模为基于奖励函数的玻尔兹曼分布，通过最大化熵来选择最不偏倚的奖励函数；2）提出了基于特征期望匹配的学习算法，通过梯度下降优化奖励函数参数，使模型的特征期望与专家演示的特征期望匹配；3）提出了基于前向-后向算法的高效计算方法，能够在大规模状态空间中计算轨迹概率；4）在真实出租车轨迹预测任务上验证了算法的有效性，显著优于传统IRL方法。该论文引用超过4000次，是逆强化学习领域最具影响力的论文之一，MaxEnt IRL已成为IRL的标准方法，为后续的引导成本学习、深度MaxEnt IRL、对抗式逆强化学习等方法奠定了基础。