如何将word2vec嵌入作为Keras嵌入层传递？

Question

我正在使用Keras解决一个多类分类问题。 但是我假设由于我的数据（特定于域的数据）的词嵌入效果较差，所以准确性很差。

Keras有自己的嵌入层，这是一种有监督的学习方法。

因此，我对此有2个问题：

1. 我可以在Keras的嵌入层中使用word2vec嵌入吗，因为word2vec是无监督学习/自我监督的一种形式？

2. 如果是，那么我可以在word2vec预训练模型上使用转移学习来增加我的领域特定功能的知识。

Answer 1

您可以使用word2vec或任何其他经过预训练的嵌入（可能是FastText ？）来初始化嵌入层，以手动构建嵌入矩阵的方式，即，仅加载word2vec文件中的所有数字并制作一个np.array它。 然后，创建一个常量初始化程序 ，并将其作为参数传递给嵌入层构造函数。

如果您不希望在训练期间更新嵌入，只需在图层对象上将trainable设置为False 。