Keras Tensorboard用於DQN強化學習

Question

我正在使用keras構建DQN，並使用具有經驗重播記憶的經典DQN算法對其進行訓練。 由於在dqn中需要多次調用model.fit，這意味着每次從重播內存中采樣批數據時，使用keras的model.fit( .... callbacks=TensorBoard(...))時，每次擬合都會生成新的事件日志文件。 model.fit( .... callbacks=TensorBoard(...)) 。 它會產生兩個問題，首先會生成過分的事件日志文件並減慢訓練速度，在Tensorboard中您看不到任何趨勢，例如損失逐漸減少。

可視化訓練過程的方法是什么，例如在強化學習特別DQN實施中看到梯度和激活的變化？

Answer 1

您可以通過TensorFlow：

# Create FileWriter
file_writer = tf.summary.FileWriter(log_dir, tf.get_default_graph())
history = model.fit(state, Q_values, epochs=1, verbose=0)
loss = history.history['loss'][0]

# Add values to Tensorboard
training_summary = tf.Summary(value=[tf.Summary.Value(tag="loss", simple_value=loss),
                                     tf.Summary.Value(tag="score", simple_value=score)])
file_writer.add_summary(training_summary, global_step=total_frames)