[英]What is the meaning of the second output of Huggingface's Bert?
在 Huggingface 实现中使用基本 BERT 模型的 vanilla 配置,我得到一个长度为 2 的元组。
import torch
import transformers
from transformers import AutoModel,AutoTokenizer
bert_name="bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(bert_name)
BERT = AutoModel.from_pretrained(bert_name)
e=tokenizer.encode('I am hoping for the best', add_special_tokens=True)
q=BERT(torch.tensor([e]))
print (len(q)) #Output: 2
第一个元素是我期望收到的 - 每个输入标记的 768 维嵌入。
print (e) #Output : [101, 1045, 2572, 5327, 2005, 1996, 2190, 102]
print (q[0].shape) #Output : torch.Size([1, 8, 768])
但是元组中的第二个元素是什么?
print (q[1].shape) # torch.Size([1, 768])
它与每个令牌的编码具有相同的大小。 但它是什么?
也许 [CLS] 令牌的副本,整个编码文本的分类表示?
让我们检查。
a= q[0][:,0,:]
b=q[1]
print (torch.eq(a,b)) #Output : Tensor([[False, False, False, .... False]])
不!
最后一个标记的嵌入副本(无论出于何种原因)怎么样?
c= q[0][:,-1,:]
b=q[1]
print (torch.eq(a,c)) #Output : Tensor([[False, False, False, .... False]])
所以,也不是那样。
文档讨论了更改config
如何导致更多元组元素(如隐藏状态),但我没有找到默认配置输出的这个“神秘”元组元素的任何描述。
关于它是什么以及它的用途有什么想法?
在这种情况下,输出是 ( last_hidden_state
, pooler_output
) 的元组。 您可以在此处找到有关返回内容的文档。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.