tf 和 tf.keras 密集層在我的設置中顯示完全不同的行為

Question

在使用 tensorflow 1.14 時，我注意到在使用 tf.layers.Dense 與 tf.keras.layers.Dense 時有一些非常奇怪的行為。 Stackoverflow 上的人說這兩層完全一樣，我基本上同意，但是在訓練 AC 代理時查看折扣獎勵會得到下圖：

arguments 完全相同。 重復運行會導致相同的結果（請參閱圖像中不同顏色的數據）。 據我了解代碼，其中一個密集層繼承自另一個： tf.keras.layers.core和tf.layers.core 。

有人能解釋這種行為嗎？

Answer 1

根據對 stable_baseline 存儲庫中類似問題的回復，似乎 keras 不支持多個代理之間的共享權重。 因此，在訓練具有多個實例的 actor-critic 網絡時，每個環境都有自己的網絡，這會導致完全不同的結果。 解決方法是僅直接使用支持重用相同權重的 tensorflow 層。