张量流中LSTM递归权重的缺失

Question

Tensorflow的DropoutWrapper允许将DropoutWrapper应用于单元的输入，输出或状态。 但是，我还没有看到对细胞的循环重量进行相同操作的选择（在原始LSTM配方中使用的8种不同矩阵中有4种）。 我只是想在实现自己的包装程序之前检查这种情况。

编辑：

显然，此功能已在较新的版本中添加（我的原始评论引用了v1.4）： https : //github.com/tensorflow/tensorflow/issues/13103

Answer 1

这是因为原始LSTM模型仅在输入和输出层上应用了辍学（仅适用于非递归层。）本文被认为是“教科书”，它描述了具有辍学的LSTM： https : //arxiv.org/pdf/ 1409.2329.pdf

最近，有些人也尝试在循环图层中应用辍学。 如果要查看实现及其背后的数学运算，请搜索Yarin Gal的“递归神经网络中辍学的理论基础应用”。 我不确定Tensorflow或Keras是否已经实现了这种方法。