在 tensorflow 中训练一个 Bert 词嵌入模型

Question

我有自己的纯文本语料库。 我想在TensorFlow中训练一个Bert模型，类似于gensim的word2vec来获取每个词的嵌入向量。

我发现所有示例都与任何下游 NLP 任务（如分类）相关。 但是，我想用我的自定义语料库训练一个 Bert 模型，之后我可以获得给定单词的嵌入向量。

任何线索都会有所帮助。

Answer 1

如果您可以访问所需的硬件，则可以使用 TensorFlow 深入了解 NVIDIA 的 BERT 训练脚本。 回购在这里。 来自 媒体文章：

BERT-large 可以在 3.3 天内在四个 DGX-2H 节点（总共 64 个 Volta GPU）上进行预训练。

如果您没有庞大的语料库，则对可用模型进行微调可能会获得更好的结果。 如果你想这样做，你可以研究一下拥抱脸的变形金刚。