
[英]Tensorflow simple cumulative sum of product RNN cell
赏金将在 4 天后到期。 此问题的答案有资格获得+50声望赏金。 Simon Chemnitz-Thomsen正在寻找一个规范的答案。 我正在尝试构建一个 Tensorflow model 来计算两个输入特征的乘积的累积和,即仅预测 (1,2) 应该返回 2,然后预测 (2,2) 应该给出 6= ...
[英]Tensorflow simple cumulative sum of product RNN cell
赏金将在 4 天后到期。 此问题的答案有资格获得+50声望赏金。 Simon Chemnitz-Thomsen正在寻找一个规范的答案。 我正在尝试构建一个 Tensorflow model 来计算两个输入特征的乘积的累积和,即仅预测 (1,2) 应该返回 2,然后预测 (2,2) 应该给出 6= ...
[英]Using output cell and hidden states of one LSTM cell as input states for another
通常,在讨论堆叠 LSTM(具有独立权重)时,单元格和隐藏状态对于每个单独的单元格都是唯一的,并且不在它们之间共享。 每个 LSTM 单元以其自己的一组状态独立运行。 是否有任何理由使用一个 LSTM 单元的 output 单元 state 和隐藏的 state 作为输入单元 state 和另一个 ...
[英]How to access the gradients of intermediate outputs during the training loop?
假设我有以下(相对)小的 lstm model: 首先,让我们创建一些伪输入/目标数据: 现在,让我们定义一个简单的 lstm model: 实例化 model,失去乐趣。 和优化器: 现在,在训练循环期间,我想打印每个时期的中间( a_s.grad , b_s.grad )输出的梯度: 但我得到 ...
[英]DL4J LSTM - Contradictory Errors
我试图在 Java 中使用 Deeplearning4J 创建一个简单的 LSTM,具有 2 个输入特征和 1 的时间序列长度。但是,我在调用 predict() 时遇到了有关输入维数的错误。 运行时出现如下错误: 我觉得这很奇怪,但我还是尝试重塑它: ...导致相反的问题: 我到底做错了什么? ...
[英]I am trying to find a way to convert numpy array to hdf5 format
我正在尝试转换 Numpy arrays,它们是在 HDF5 格式中随时间变化的二维网格,适用于多种情况,例如 Numpy 数组具有以下方面:案例编号 (0-100)、时间 (0-200 年)、X 网格点位置(0-100m),y 网格点位置(0-20m)加上该位置的实际数据点(例如饱和度范围为 0- ...
[英]loss is drastically decreasing whereas BLEU score stays at zero during training of the seq2seq RNN for machine translation
我正在尝试使用 LSTM 训练用于机器翻译的 RNN。 然而,第一批的 BLEU 减少到零,并在所有训练期间保持在这个水平。 与此同时,损失正在急剧减少。 可能是什么问题? **代码: ** 训练,在开发数据集和损失上评估的 BLEU 分数图 训练,在开发数据集和损失上评估的 BLEU 分数图我认 ...
[英]Why we use padding for sentences, when RNN can take dynamic sequence of input?
在阅读问题时,请考虑左图(折叠图像) 在我们展开 RNN 的图中,我们将 T 时间戳的 output 传递到下一个 T+1 时间戳,这是到同一个 RNN 或者我们将 T 时间戳的 output 发送回同一个神经网络,所以我们在同一个神经/神经元上循环这个过程。 让我们将架构视为多对一 RNN。 因 ...
[英]How to implement a One to Many RNN in FluxML (Julia Lang)?
在 Python 和 TensorFlow 和 Pytorch 中有大量关于如何创建各种 RNN 架构的示例,其中包括一对多架构。 问题是如何使用 Julia Lang 在FluxML中完成此操作。 Keras 在 TensorFlow 中,RNN 单元的return_sequences选项允许 ...
[英]How to change MLP structure to RNN structure in Pytorch
我想设计一个 RNN Class 结构,它产生与 MLP Class 结构相同的输入和 output。 实际上,我的 MLP 代码是 我试过了 但我认为这是错误的,我应该如何修改代码? ...
[英]Why model with one GRU layer return zero gradients?
我正在尝试比较 2 个模型以了解渐变的行为。 检查第一个 model 的梯度给出 True(零梯度): 检查第二个 model 的梯度也给出 True(零梯度): 根据这里的答案: GRU 保存序列 output 顺序后的线性层? 第二个 model(只有 GRU 层)需要提供非零梯度。 我错过 ...
[英]LSTM overfitting problem for all my result. Can someone examine my code for any errors?
感谢您花时间考虑我的问题。 我对 LSTM 有问题,因为它让我对所有结果都过度拟合。 我尝试了不同的技术。 有人可以检查我的代码,看看我是否写错了任何行吗? ...
[英]Keras: Why is LSTM much faster than SimpleRNN during training
当我尝试使用 SimpleRNN 与 LSTM 时,我发现 SimpleRNN 训练的 ETA 为 30 分钟,而 LSTM 的 ETA 为 20 秒。 但是 SimpleRNN 的操作应该比 LSTM 少。 是什么造成了这种巨大的差异? 我使用 SimpleRNN 错了吗? ...
[英]Cross Validation using metrics.mean_squared_error, "found array with dim 3. Estimator expected <= 2." Error
我正在使用 LSTM RNN 训练模型(多对多)。 我将应用交叉验证来提高结果质量,但我不能使用“metrics.mean_squared_error”函数,因为它是一个多元系统。 我应该手动创建交叉验证函数还是可以使用 3D 数组使用此函数? 这是我的火车和测试数据的形状; ((118000, ...
[英]Model Training using a Data Set with CSV files and Images
这个赏金已经结束了。 此问题的答案有资格获得+50声望赏金。 赏金宽限期在23 小时后结束。 Lakshan Costa想让更多人关注这个问题: 我正在寻找一种方法来做到这一点,我猜它可以像图像字幕一样完成。 如果可能的话,请指导我使用这样完成的代码。 任何帮助,将不胜感激我正在尝试从垂直条形图 ...
[英]BayesianOptimization search does not error out for missing parameter
以下代码不会因 validation_data 中缺少参数而出错 然而它错误validation_data=(x_val, y_val) 请参阅以下相关问题: typeerror-float-object-is-not-subscri 整行: ...
[英]How to disable Teacher Forcing RNN model
我有以下 Teacher forcing RNN model,我隐式地将整个输入序列 (inputs = ids[:, i:i+seq_length] 一次传递给 model。我应该修改什么以禁用教师强制训练并获得原始model。 我试图以不同的方式传递输入和目标,但没有任何效果。 我有点困惑原始 ...
[英]How to print the dense layer values?
我创建了一个 CNN model。因为我想打印密集层的一维数组值。 如何在 python 中打印密集层 output 矢量。 ...
[英]I'm a newbie of deep-learning..! Why my CRNN model's accuracy is too low?
这是我的代码,以及训练精度的图像 设备配置 加载 ESC-50 数据和预处理 火车测试拆分 Model model 初始化 标准和优化器 火车 验证 如果验证损失减少,保存 model 打印纪元损失和准确性 我的训练准确率请告诉我为什么我的训练准确率太低.. ...
[英]Mismatch between computational complexity of Additive attention and RNN cell
根据Attention is all you need论文:Additive attention(Bahdanau 在 RNN 中使用的经典注意力)使用具有单个隐藏层的前馈网络计算兼容性 function。 虽然两者在理论复杂性上相似,... 事实上,我们可以在这里看到加法注意力和 dot-prod ...
[英]What is the difference between Tensorflow GlorotNormal and GlorotUniform
我正在使用带有 SimpleRNN 层的 Tensorflow 训练神经网络。 默认情况下kernel_initializer='glorot_uniform' 。 GlorotNormal 和 GlorotUniform 之间有区别吗? 哪个最适合 RNN? ...