在强化学习中实现损失函数（MSVE）

Question

我正在努力为奥赛罗建立一个时间差异学习代理。 虽然我的其他实现似乎按预期运行，但我想知道用于训练我的网络的损失函数。 在Sutton的书“强化学习：简介”中，均值平方值误差（MSVE表示为标准损失函数。它基本上是均方误差乘以on政策分布。（所有状态的总和）（onPolicyDistribution（s） ）* [V（s） - V'（s，w）]²））

我现在的问题是：当我的政策是学习价值函数的e-greedy函数时，如何在政策分配中获得此信息？ 它是否甚至是必要的，如果我只使用MSELoss会出现什么问题？

我在pytorch中实现所有这些，所以在那里轻松实现奖励积分:)

Answer 1

正如您所提到的，在您的情况下，听起来您正在进行Q-learning，因此您不需要像Sutton的书中所描述的那样执行策略渐变。 当你学习政策时，这是必要的。 你没有学习政策，你正在学习价值功能并使用它来行动。