我怎样才能从 deberta model 得到 pooled output？

Question

任何人都可以告诉我如何从 deberta model 汇集 output 吗？

任何人都可以告诉我如何从 deberta model 汇集 output 吗？ 我想在不使用 *DebertaForSequenceClassification * 的情况下将它从DebertaModel用于我的分类 model

Answer 1

我这样解决了：

deberta_model = DebertaForSequenceClassification.from_pretrained("microsoft/deberta-base")
deberta_model.config.num_labels = 1

class DebrtaRegressor(nn.Module):

def __init__(self):
    
    super(DebrtaRegressor, self).__init__()

    self.deberta = deberta_model
    self.sigmoid1 = nn.Sigmoid()
    
    
    
def forward(self, input_ids, attention_masks):
    outputs = self.deberta(input_ids, attention_masks)
    outputs = outputs.logits[:, : 1]
    outputs = self.sigmoid1(outputs)
    return outputs