BERT 到 XLNET 火车 model

Question

我正在尝试在 XLNet 中做这样的事情，但我在文档中找不到这部分，任何帮助都会很有价值，谢谢！

# we access the transformer model within our bert object using the bert attribute 
# (eg bert.bert instead of bert)

embeddings = bert.bert(input_ids, attention_mask=mask)[1]  # access pooled activations with [1]

（而不是 bert.bert 我试图用 xlnet 来做）

Answer 1

为了解决这个问题，让我们首先看看bert.bert属性背后究竟隐藏了什么。 为此，我们可以检查TFBertModel class 库的源代码。 在那里，我们可以看到它被定义为

self.bert = TFBertMainLayer(config, name="bert")

其中TFBertMainLayer正是顾名思义——主要的 BERT 变压器组件。 准确地说，定义如下：

# ...
self.embeddings = TFBertEmbeddings(config, name="embeddings")
self.encoder = TFBertEncoder(config, name="encoder")
self.pooler = TFBertPooler(config, name="pooler") if add_pooling_layer else None
# ...

如果我们查看TFXLNetModel的源代码，我们可以看到也只有一个属性，定义为

self.transformer = TFXLNetMainLayer(config, name="transformer")

由于它的名称足够相似，因此您应该通过简单地调用xlnet.transformer(...)来获得相同的结果，尽管我不能保证所有输入参数的工作方式都相同。