Evaluate_policy 記錄的平均獎勵比穩定基線高得多 3 記錄器

Question

正如標題所說，我正在使用 SB3 在 Cartpole 環境中測試 PPO，但如果我看一下評估策略 function 的性能，我在 20000 個時間步長時獲得了 475 可靠的平均獎勵，但如果我看一下，我需要大約 90000 個時間步長控制台日志以在學習期間獲得可比較的結果。

為什么我的 model 在使用評估助手時表現得更好？

我在這兩種情況下都使用了相同的超參數，並且使用了一個新的環境來使用輔助方法進行評估。

Answer 1

我想我已經解決了“問題”：evaluate_policy 在其默認設置中使用確定性操作，從而更快地獲得更好的結果。