DQN（強化學習）：狀態應該標准化嗎？

Question

這是我的狀態數據框：

>> state_df.head()
          A           B          C
 0    -1.469587   -1.186974   -1.136587
 1    -1.310300   -1.032667   -1.389515
 2    -0.041564   -0.112118   -0.742551
 3     0.698519    0.453808   -0.194451
 4     0.653907    0.425225   -0.157008

每列都是從我的數據集中獲取的（金融）索引。 我將合並每一行並將其設置為如下state ：

for i in len(state_df):
    state_list = np.array(indicators_df.ix[i].tolist())
    x = np.reshape(state, [-1, input_size])
    session.run(self._Qpred, feed_dict={self._X: x})
    .
    .
    .
    .

這些state將被輸入DQN(Deep Q-Network) 。

但是每一列都不遵循正態分布。 他們的mean()和std()像這樣：

state_df['A'].mean() => 1.0023571097367265
state_df['A'].std() => 0.039181434958815514
state_df['B'].mean() => 0.08110446799218411
state_df['B'].std() => 0.643645664287425
state_df['C'].mean() => 0.006230702891531177
state_df['C'].std() => 0.06876011348732677

我想知道我是否必須標准化每列（（x-mu）/ sigma）...

我一定要嗎？

Answer 1

不，這是沒有必要的。

例如，DQN可以用於視頻游戲中的原始圖像（好吧，可能是出於合理尺寸而將其灰度化），其中每個特定像素不一定遵循標准正態分布。 無論如何，它都可以工作。