如何将 output 数组作为深度强化学习 Model 中的操作？

Question

我目前正在开发自定义多代理 DQN 环境，我的 action_space 是一个列表，例如 [2,4,3,2,1]。

其中 actionlist[0] 是第一个代理采取的行动，actionlist[1] 是第二个代理采取的行动，依此类推。

通常对于单个值 output，代码将如下所示：

states = env.observation_space.shape
actions = env.action_space.n

def build_model(states, actions):
    model = Sequential()    
    model.add(Dense(24, activation='relu', input_shape=states))
    model.add(Dense(24, activation='relu'))
    model.add(Dense(actions, activation='linear'))
    return model

...some model building

def build_agent(model, actions):
    policy = BoltzmannQPolicy()
    memory = SequentialMemory(limit=50000, window_length=1)
    dqn = DQNAgent(model=model, memory=memory, policy=policy, 
                  nb_actions=actions, nb_steps_warmup=10, target_model_update=1e-2)
    return dqn

但是，这不适用于不是单个值的 output。

go怎么办呢？

Answer 1

首先你需要知道有两种类型的动作空间问题（离散和连续）和两种类型的强化学习方法（1.value-based 和 2.policy or policy/value based）。

DQN 是基于价值的强化学习方法，它计算任何给定 state 向量处每个离散动作的价值。 因此，它仅针对离散动作空间问题而设计（例如，动作可以是向量 [1,2,3] 中的一个值）。

您描述中的“不是单个值”动作是一个连续的动作空间问题，您的动作可以是给定范围内的任何可能值（例如，[0,10] 范围内的 2.0120321）。 对于连续动作空间问题，需要使用基于策略的强化学习方法，例如 Actor-Critic 和其他建立在 actor-critic 之上的流行框架，如 PPO、DDPG 等。

我建议您通过阅读 Richard Sutton 在该领域最流行的教科书（强化学习：简介）来了解强化学习的一些基本概念： https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd。 pdf