我正在阅读 Andrew Trask 的《深度学习》一书。 当谈到体重更新时,我有点困惑。 它已通过 + 或 - 实现:

weights_0_1 += alpha * layer_0.T.dot(layer_1_delta)

要么

weights_0_1 -= alpha * layer_0.T.dot(layer_1_delta)

哪一个是真的? 视情况而定吗?

  ask by Javokhirbek Radjabov translate from so

本文未有回复,本站智能推荐:

1回复

在2个神经网络的组合中使用反向传播进行权重更新

每个神经网络都通过反向传播来更新其权重。 假设一个神经网络模型堆叠在另一个神经网络模型上,那么反向传播如何在这种体系结构中用于权重更新。 在单个神经网络模型中,权重的更新有何不同?
1回复

如何更新权重和偏见

我试图从头开始用numpy编写一个神经网络来识别hand_writing_digits。但是我在更新权重和偏差时有点困惑 这是我的代码 当我运行时,出现此错误 nw_output_layer = np.dot(nw_output_layer, dz_dw.T) ValueErr
2回复

在pytorch中保存具有更新权重的模型

我有一个要训练5个时代的模型。 然后,我想看看模型哪里出了问题,并相应地增加了训练集。 如何使用学习的重量保存以下模型? trainer_ = Trainer(network = network, optimizer = optim.Adam(
2回复

当输入大小不同时,如何进行机器学习?

在标准的食谱机器学习中,我们在矩形矩阵上操作; 也就是说,我们所有的数据点都具有相同数量的功能。 我们如何应对所有数据点具有不同数量的特征的情况? 例如,如果我们想要进行视觉分类,但我们所有的图片都有不同的维度,或者我们想要进行情感分析,但我们所有的句子都有不同的单词数量,或者我们想要进行
1回复

在在线反向传播权重更新中添加动量项?

我已经为两层网络实现了ANN,我需要用动量来修改体重更新代码,但是我需要知道如何更新它。 以下是仅重量更新的代码快照。 下面的代码针对所看到的每个示例更新权重:hiddenWights是隐藏层权重,outputWeights是输出层权重。
1回复

什么是带有滑动窗的多层感知器以及如何进行训练和测试

MLP +滑动窗的定义是什么,以及它是如何训练和测试的。 它用于时间序列预测/分类吗? 例如,我有10个功能的时间序列数据。 所有时间序列的长度是200个时间步长。 我想将它们分为两个不同的类。 在这种情况下,如何使用滑动窗口训练MLP。 让我们说我想要一个30个时间步的滑动窗
1回复

重置网络 [pytorch] 的模型参数和权重以进行交叉验证

我想在我的训练中实施 5 折交叉验证。 每次折叠,我都需要重新设置模型的参数。 在训练某个折叠之前,我添加了以下代码: 每个折叠运行 5 个 epoch。 观察结果,我们有: 准确度在增加,这意味着模型在训练一倍后没有重新初始化。 有没有更好的方法来做到这一点?
2回复

如果无法在神经网络中进行大批量处理,如何进行补偿

我正在尝试从GitHub运行动作识别代码。 原始代码使用128个批处理大小和4个GPU。 我只有两个GPU,所以我无法匹配其bacth大小数字。 无论如何,我可以批量补偿这种差异。 我在某处看到iter_size可能会根据effective_batchsize= batch_size*i
1回复

使用分页更新多层神经网络中一个随机层的权重?

在使用反向传播训练多层神经网络时,每次迭代都会更新所有层的权重。 我在考虑是否我们随机选择任何一层并仅在每次反向传播迭代中更新该层的权重。 如何影响训练时间? 模型性能(模型的泛化能力)是否会受到这种训练的影响? 我的直觉是,泛化能力将相同,培训时间将减少。 如果我错了,请
1回复

张量流中的apply_gradients()函数不会更新权重和偏差变量

我正在使用compute_gradients()和apply_gradients()函数进行反向传播。 通过打印梯度值,我确实看到正在计算梯度,但是在调用apply_gradients()函数后,权重没有任何变化。 我也看不到global_step变量的值正在更改。 难道我做错了什么?