标签[tf-agent] - 堆栈内存溢出

将 TF Agents ActorDistributionNetwork 转换为 Tensorflow lite model - Convert an TF Agents ActorDistributionNetwork into a Tensorflow lite model

我想将ActorDistributionModel从经过训练的PPOClipAgent转换为 Tensorflow Lite model 以进行部署。我应该如何做到这一点？我尝试按照本教程进行操作（请参阅底部将策略转换为 TFLite 的部分），但是 .network 输出单个操作（策略）而不 ...

Tf-agent Actor/Learner：TFUniform ReplayBuffer 维度问题 - Replay Buffer 与 Actor 更新的形状无效 - Tf-agent Actor/Learner: TFUniform ReplayBuffer dimensionality issue - invalid shape of Replay Buffer vs. Actor update

我尝试使用TFUniformReplayBuffer而不是仅适用于 linux 机器的ReverbReplayBuffer将此tf-agents actor<->learner DQN Atari Pong 示例改编为我的 windows 机器，但我面临尺寸问题。问题如下：根据这篇de ...

是什么控制了 tf 观察的第二维/qnet 接受什么？ - What controls the second dimension of tf observations/ what a qnet accepts in its place?

精简版。我找不到控制任何一个的变量： A) 轨迹中变量的第 2 维，例如第 3 维或 B) qnet 在训练期间需要的维数？我正在关注本教程： https://www.tensorflow.org/agents/tutorials/1_dqn_tutorial 通过将打印插入教程中，如下 ...

tf_agents dqn 初始化失败 - tf_agents dqn fails to initialize

即使 tf.agents initialize() 不需要输入变量，这一行产生此错误我试过 agent.initialize(agent) 因为它显然想要自我传递......显然这不起作用 XD 我怀疑问题可能是这条线生产但这可能是正常的... ###################### ...

从 PyEnvironment 继承的方法会导致错误，因为 function 名称开头的下划线 - inheritted method from PyEnvironment causes error because underscore at start of function name

我收到以下错误。我从来没有真正制作过 function _reset 所以它必须来自 py_environment.PyEnvironment 下面的代码我怎样才能解决这个问题？为什么会这样？如果它来自 py_environment.PyEnvironment 它不是内置的吗？为什么内置 ...

tfagents sequential.network 中 Conv1d 输入形状的问题 - Problem with input shape of Conv1d in tfagents sequential network

我使用 tfagent 创建了一个交易环境并传递了 100000 行的 df，其中仅使用收盘价，其中 numpy 数组包含 100000 个股票价格时间序列数据在每一步，代理人都可以访问之前的 1000 个价格 + 当前股票价格 = 1001 它可以从 0,1,2 采取 3 种可能的行动然后我将 ...

如何在 python 的大查询中存储 tf-agents 的轨迹对象并将其作为轨迹对象检索回来 - How to store tf-agents' trajectory object in big query from python and retrieve it back as the trajectory object

我想将来自 tf-agents 的轨迹保存到一个大查询表中，并希望根据需要再次将它们检索到 python 中。在 python 数据框中，轨迹被保存为轨迹对象。但是，我不确定如何将这些轨迹对象保存到大查询中并将它们检索回 python。将它们保存为字符串不起作用，也不能在大查询中保存个人组件 ...

使用 tensorflow-agents 保存模型时出错 - Error when saving model with tensorflow-agents

我正在尝试使用 tensorflow-agents 保存模型。首先我定义如下：然后像这样保存模型：这在 google colab 中工作正常，但我在本地 PC 中收到以下错误。这些是我正在使用的库版本：张量流 2.9.1 tf-代理 0.11.0 ...

在 google colab 中导入 tf_agents 时出错 - Error while importing tf_agents in google colab

我无法理解问题是什么。当我尝试导入 tfagent 时，它会抛出此错误 'function() 有一个意外的关键字参数'reduce_retracing' 在谷歌 colab 中。我重新安装了所有软件包，但仍然给我同样的错误。 ...

如何将 tf_agents 中的重播缓冲区用于上下文强盗，每天进行预测和训练 - How to use the replay buffer in tf_agents for contextual bandit, that predicts and trains on a daily basis

我将 tf_Agents 库用于上下文强盗用例。在这个用例中，每天进行预测（每天范围在 20k 到 30k 之间，每个用户 1 个）（每天多次）并且只对 4 天前的所有预测数据进行训练（因为预测标签需要 3 天才能完成）观察）。驱动程序似乎只重播 batch_size 数量的经验（因为上下文强盗 ...

TF-Agents TypeError: 两个结构不匹配，next_step_type, policy_info - TF-Agents TypeError: The two structures do not match, next_step_type, policy_info

嗨，提前谢谢你，我试图在 tf-agents 中运行自定义环境并获得以下信息我能弄清楚的唯一区别是我的观察包含值next_step_type和policy_info ，它们不在我的 time_step_spec 中。我不确定这些值是在哪里生成的。因为代码比较多，所以省略了一部分，请指教需要 ...

如何在 Tf-agents 中传递自定义环境的批量大小 - How to pass the batchsize for a custom environment in Tf-agents

我正在使用 tf-agents 库构建上下文强盗。为此，我正在构建一个自定义环境。我正在创建一个 banditpyenvironment 并将其包装在 TFpyenvironment 中。 tfpyenvironment 自动添加批量大小维度（在观察规范中）。我需要在 _observe 和 ...

TFAGENTS：关于 DqnAgent 代理的 observation_and_action_constraint_splitter 用法的说明 - TFAGENTS: clarification on the usage of observation_and_action_constraint_splitter for DqnAgent agents

根据这篇文章，我正在尝试创建一个带有有效/无效操作掩码的 DqnAgent 代理，我应该为observation_and_action_constraint_splitter arg 指定一个splitter_fn 。根据 tf_agents 文档 , splitter_fn会是这样的：在我看来 ...

TF-Agents 在训练时出现 malloc 错误 - TF-Agents getting malloc error while training

在尝试使用 tf-agents 库来训练 DQN 时，我遇到了 malloc 错误的问题。规格： M1 mac os 12 TF 2.6.2，tf-agents 0.10.0 Python 3.8（3.9 的结果相同）我使用自定义环境，包装到 TF 环境中。其他一切都是 tf-agents 的默 ...