ELMo - 如何训练可训练的参数

Question

我是tensorflow-hub的新手，并且遇到了ELMo模型（ https://www.tensorflow.org/hub/modules/google/elmo/2 ）。

根据原始论文，ELMo表示是隐藏状态激活的加权平均值，并且这些权重可根据手头的任务（即任务特定的）来训练。 正如预期的那样，当我使用tf.trainable_variables（）时，我可以看到4个可训练的参数。 如何在张量流中精确训练这些变量？

他们只是提到这些重量是可训练的。 但谁应该训练呢？ 我或ELMo模型本身训练吗？ 这篇论文似乎暗示我应该训练它。 如果是这样，我如何在tensorflow中训练它？

Answer 1

您可以通过导入模块到你的模型可训练= true，则开始训练模型，就像任何其他的TF模型。 在这个训练的过程中，模型也将训练导入模块的一部分的重量。 您也可以将本教程作为一个很好的起点，并将nnlm嵌入替换为ELMo。