如何训练深度强化学习网络？

Question

这是一个概念性的问题。 我来自计算机视觉背景，其中 Object 检测 DNN 使用预定义的数据集（例如 COCO、NYU-D 等）进行训练，然后 DNN 能够根据训练预测输入图像的结果。

但是，在深度强化学习的情况下，我无法找到可以训练深度 RL.networks 的数据集。 相反，我找到了谈论培训环境的资源。

所以问题是深度 RL.networks 是否需要仅使用环境进行训练，或者是否可以像 Object 检测 DNNs 一样训练它们，即使用某种数据集？

Answer 1

这是 AI 社区中非常普遍的困惑。 长话短说，强化学习 (RL) 方法需要根据 RL 确定的动作从环境中获得反馈（奖励、状态）。 数据集无法提供该反馈。 您可以将 RL 视为闭环反馈系统，而将监督学习 (DNN) 视为开环前馈系统。

帮助您更好地理解RL。 RL 方法通过以下步骤逐步从与环境的交互中学习：

1. 初始化 RL 代理策略和/或价值函数；
2. 初始化RL代理启动的state；
3. RL agent根据当前state决定一个action；
4. 对环境采取行动；
5. 环境对动作作出反应并更新 state，产生奖励；
6. state和来自环境的奖励被传送给RL代理；
7. RL 智能体根据 state 和奖励反馈更新其策略和/或价值函数；
8. 然后 go 回到第 3 步；

我建议您简要阅读 Richard Sutton 的 RL 教科书：Reinforcement Learning: An Introduction。 您可以从这里免费下载： https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf

Answer 2

与 DNN 不同，RL 需要与环境交互才能进行训练。 您可以进一步查看 RL 的离线数据集和在线数据集。