Evaluate_policy 记录的平均奖励比稳定基线高得多 3 记录器

Question

正如标题所说，我正在使用 SB3 在 Cartpole 环境中测试 PPO，但如果我看一下评估策略 function 的性能，我在 20000 个时间步长时获得了 475 可靠的平均奖励，但如果我看一下，我需要大约 90000 个时间步长控制台日志以在学习期间获得可比较的结果。

为什么我的 model 在使用评估助手时表现得更好？

我在这两种情况下都使用了相同的超参数，并且使用了一个新的环境来使用辅助方法进行评估。

Answer 1

我想我已经解决了“问题”：evaluate_policy 在其默认设置中使用确定性操作，从而更快地获得更好的结果。