keras dqn 代理期待更多维度

Question

我已经基于 openAI 健身房构建了一个自定义环境，我的目标是在该环境上训练 DQN 代理。

在这种环境下，每个观察空间是 1 行 75 列，依此类推

env.observation_space.shape

(75,)

当我构建 model 时，我使用以下内容：

def build_model(states, actions):
    model = Sequential()
    model.add(Dense(75, activation = 'relu', input_dim = 75))
    model.add(Dense(75, activation = 'relu'))
    model.add(Dense(actions, activation = 'relu'))
    return model

对于三个可能的操作中的每一个，第一层的 output 形状（无，75）和最后一层的 output 形状（无，3）。

在构建我的代理时，我使用：

def build_agent(model, actions):
    policy = BoltzmannQPolicy()
    memory = SequentialMemory(limit=50000, window_length=1)
    dqn = DQNAgent(model=model, memory=memory, policy=policy, 
                  nb_actions=actions, nb_steps_warmup=10, target_model_update=1e-2)
    return dqn

但是，拟合代理会引发以下错误：

dqn = build_agent(model, actions)
dqn.compile(Adam(lr=1e-3), metrics=['mae'])
dqn.fit(env, nb_steps=50000, visualize=False, verbose=1)

Error when checking input: expected dense_58_input to have 2 dimensions, but got array with shape (1, 1, 75)

鉴于我的数据观察是 75 列，我不明白如何预期额外的维度。 我是否需要重塑我的输入或重新定义我的 model 的输入层？

Answer 1

为了社区的利益，来自评论部分。

目前使用rl.agents 。 我使用扁平层作为第一层解决了这个问题。

Answer 2

我看到您在最后一层使用了“relu”激活。 DQN 通常执行回归来预测每个动作的 q 值，并且使用 relu 激活会阻止估计值达到其真实值。 如果你可以分享你的整个代码，社区应该能够提供更多的见解。