在 Huggingface 集线器中共享一个多任务学习 model 用于推理

Question

我成功地训练了一个多任务BERT model。 我的 Bert model 通过共享 BERT 风格的编码器转换器和每个任务的两个不同任务头来工作。 这两个头是一个二元分类头（num_label = 2）和一个情感分类头（num_label = 5）

我尝试在集线器上共享它并在推理后重新加载它。 但我失败了。

这是代码：

class SequenceClassificationHead(nn.Module):
    def __init__(self, hidden_size, num_labels, dropout_p=0.1):

        super().__init__()
        self.num_labels = num_labels
        self.dropout = nn.Dropout(dropout_p)
        self.classifier = nn.Linear(hidden_size, num_labels)

        self._init_weights()

    def _init_weights(self):
        self.classifier.weight.data.normal_(mean=0.0, std=0.02)
        if self.classifier.bias is not None:
            self.classifier.bias.data.zero_()

    def forward(self, sequence_output, pooled_output, labels=None, **kwargs):
        pooled_output = self.dropout(pooled_output)
        logits = self.classifier(pooled_output)

        loss = None
        if labels is not None:
            
            loss_fct = nn.CrossEntropyLoss()
            loss = loss_fct(
                logits.view(-1, self.num_labels), labels.long().view(-1)
            )
class MultiTaskModel(BertPreTrainedModel):
    def __init__(self, checkpoint, tasks: List):
        super().__init__(PretrainedConfig())

        self.encoder = BertModel.from_pretrained(checkpoint)

        self.output_heads = nn.ModuleDict()
        for task in tasks:
            decoder = self._create_output_head(self.encoder.config.hidden_size, task)
            # ModuleDict requires keys to be strings
            self.output_heads[str(task.id)] = decoder

    @staticmethod
    def _create_output_head(encoder_hidden_size: int, task):
        if task.type == "seq_classification":
            return SequenceClassificationHead(encoder_hidden_size, task.num_labels)
        else:
            raise NotImplementedError()

    def forward(
        self,
        input_ids=None,
        attention_mask=None,
        token_type_ids=None,
        position_ids=None,
        head_mask=None,
        inputs_embeds=None,
        labels=None,
        task_ids=None,
        **kwargs,

        ):

        outputs = self.encoder(
            input_ids=input_ids,
            attention_mask=attention_mask,
            token_type_ids=token_type_ids,
            position_ids=position_ids,
            head_mask=head_mask,
            inputs_embeds=inputs_embeds,
        )

        sequence_output, pooled_output = outputs[:2]
        unique_task_ids_list = torch.unique(task_ids).tolist()

        loss_list = []
        logits = None
        for unique_task_id in unique_task_ids_list:

            task_id_filter = task_ids == unique_task_id
            logits, task_loss = self.output_heads[str(unique_task_id)].forward(
                sequence_output[task_id_filter],
                pooled_output[task_id_filter],
                labels=None if labels is None else labels[task_id_filter],
                attention_mask=attention_mask[task_id_filter],
            )

我与培训师 API 一起培训它，并与培训师 API 分享。 它可以工作，但是当我想使用它进行推理并从集线器加载时，我收到以下消息：

从 /root/.cache/huggingface/hub/models–HCKLab–BiBert-MultiTask/snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/vocab.txt 从缓存加载文件 vocab.txt /models–HCKLab–BiBert-MultiTask/snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/tokenizer.json loading file added_tokens.json from cache at None loading file special_tokens_map.json from cache at /root/.cache/huggingface/hub/models–HCKLab–BiBert-MultiTask /snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/special_tokens_map.json loading file tokenizer_config.json from cache at /root/.cache/huggingface/hub/models–HCKLab–BiBert-MultiTask/snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/tokenizer_config.json loading configuration file config.Z466DEEC76EC DF5FCA6D38571F6324D54Z from cache at /root/.cache/huggingface/hub/models–HCKLab–BiBert-MultiTask/snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/config.json Model config BertConfig { “architectures”: [ “MultiTaskModel” ], “attention_probs_dropout_prob”: 0.1, “分类器丢弃”：null，“hidden_act”：“gelu”，“hidden_dropout_prob”：0.1，“hidden_size”：768，“initializer_range”：0.02，“intermediate_size”：3072，“layer_norm_eps”：1e-12，“512最大定位嵌入” ，“model_type”：“bert”，“num_attention_heads”：12，“num_hidden_layers”：12，“pad_token_id”：0，“position_embedding_type”：“absolute”，“torch_dtype”：“float32”，“transformers_version”：“4.22。 1”，“type_vocab_size”：2，“use_cache”：真，“vocab_size”：30522 }

 loading weights file pytorch_model.bin from cache at /root/.cache/huggingface/hub/models–HCKLab–BiBert-MultiTask/snapshots/f3523728d3e144c0b7d262f6ff924cc174bc0d03/pytorch_model.bin Some weights of the model checkpoint at HCKLab/BiBert-MultiTask were not used when initializing BertModel:

['encoder.encoder.layer.4.output.LayerNorm.bias', 'encoder.encoder.layer.3.attention.self.key.weight', 'encoder.encoder.layer.1.attention.self.query.偏见'，'encoder.encoder.layer.4.attention.self.query.bias'，'encoder.encoder.layer.5.output.LayerNorm.bias'，'encoder.encoder.layer.4.attention.Z78E6221F6393D1356681DB398F14CED6 LayerNorm.bias'，'encoder.encoder.layer.11.attention.output.dense.bias'，'encoder.encoder.layer.2.attention.self.query.bias'，'encoder.pooler.dense.weight' , 'encoder.encoder.layer.6.intermediate.dense.weight', 'encoder.encoder.layer.1.attention.self.key.bias', 'encoder.encoder.layer.7.attention.output.dense.权重'、'encoder.encoder.layer.9.attention.output.LayerNorm.weight'、'encoder.embeddings.LayerNorm.bias'、'encoder.encoder.layer.8.intermediate.dense.bias'、'encoder.编码器.layer.4.attention.Z78E6221F6393D1356681DB398F14C E6DZ.LayerNorm.weight'，'encoder.encoder.layer.4.attention.self.value.weight'，'encoder.encoder.layer.5.output.dense.bias'，'encoder.encoder.layer.2。 output.LayerNorm.weight', 'encoder.encoder.layer.5.output.LayerNorm.weight', 'encoder.encoder.layer.6.attention.output.LayerNorm.bias', 'encoder.encoder.layer.7. output.dense.weight', 'encoder.encoder.layer.7.intermediate.dense.bias', 'encoder.encoder.layer.9.output.dense.bias', 'encoder.encoder.layer.4.output. dense.weight'，'encoder.encoder.layer.10.attention.self.key.weight'，'encoder.encoder.layer.11.output.dense.bias'，'encoder.embeddings.position_embeddings.weight'，' encoder.encoder.layer.1.attention.self.value.bias'，'encoder.encoder.layer.6.attention.self.value.weight'，'encoder.encoder.layer.10.attention.self.val ue.bias'，'encoder.encoder.layer.6.attention.output.dense.bias'，'encoder.encoder.layer.5.attention.self.query.weight'，'encoder.encoder.layer.11。注意.output.dense.weight', 'encoder.encoder.layer.0.attention.output.LayerNorm.weight', 'encoder.encoder.layer.0.attention.self.key.weight', 'encoder.en layer.11.attention.output.LayerNorm.bias', 'encoder.encoder.layer.1.attention.output.LayerNorm.bias', 'encoder.encoder.layer.3.output.LayerNorm.bias', 'encoder. encoder.layer.0.intermediate.dense.weight'，'encoder.encoder.layer.8.attention.self.query.weight'，'encoder.encoder.layer.10.attention.output.LayerNorm.bias'，' encoder.encoder.layer.3.attention.output.dense.bias'，'encoder.encoder.layer.3.output.LayerNorm.weight'，'encoder.encod er.layer.10.attention.self.key.bias'，'encoder.encoder.layer.1.attention.output.LayerNorm.weight'，'encoder.encoder.layer.5.attention.self.key.weight' , 'encoder.encoder.layer.7.attention.self.key.weight', 'encoder.encoder.layer.9.attention.self.key.bias', 'encoder.encoder.layer.6.attention.self. query.bias', 'encoder.encoder.layer.9.output.LayerNorm.bias', 'encoder.encoder.layer.10.attention.output.dense.weight', 'encoder.encoder.layer.1.output. LayerNorm.bias'，'encoder.encoder.layer.0.output.dense.bias'，'encoder.encoder.layer.11.attention.self.value.weight'，'encoder.encoder.layer.6.attention。 self.query.weight'，'encoder.encoder.layer.2.attention.output.LayerNorm.bias'，'output_heads.0.classifier.bias'，'encoder.encoder.layer.10.output'。 , 'encoder.encoder.layer.5.attention.self.qu ery.bias'，'encoder.encoder.layer.8.attention.output.dense.weight'，'encoder.encoder.layer.8.intermediate.dense.weight'，'encoder.encoder.layer.1.intermediate。 dense.weight'，'encoder.encoder.layer.7.attention.self.query.bias'，'encoder.embeddings.token_type_embeddings.weight'，'encoder.encoder.layer.5.intermediate.dense.weight'，' encoder.encoder.layer.4.attention.output.dense.weight'，'encoder.encoder.layer.9.intermediate.dense.weight'，'encoder.encoder.layer.7.attention.output.LayerNorm. , 'encoder.encoder.layer.10.attention.output.dense.bias', 'encoder.encoder.layer.3.output.dense.weight', 'encoder.encoder.query.layer.11.attention.self.权重'，'encoder.encoder.layer.6.attention.self.key.bias'，'encoder.encoder.layer.8.output.dense.weight'，'encoder.encoder.layer.0.attention.self。 value.bias'，'encoder.encoder.lay er.0.attention.self.query.weight'，'encoder.pooler.dense.bias'，'encoder.encoder.layer.8.output.LayerNorm.bias'，'encoder.encoder.layer.6.attention。 output.dense.weight'，'encoder.encoder.layer.7.attention.self.value.bias'，'encoder.embeddings.position_ids'，'encoder.encoder.layer.10.attention.self.value.weight' , 'encoder.encoder.layer.10.output.dense.bias', 'encoder.encoder.layer.7.attention.output.LayerNorm.bias', 'output_heads.0.encoder.weight.' layer.8.output.LayerNorm.weight'，'encoder.encoder.layer.6.attention.self.key.weight'，'encoder.encoder.layer.0.intermediate.dense.bias'，'encoder.encoder。 layer.2.attention.output.LayerNorm.weight'，'encoder.embeddings.word_embeddings.weight'，'encoder.encoder.layer.4.attention.self.key.bias'，'encoder.encoder.layer.6。 output.dense .bias'，'encoder.encoder.layer.2.attention.self.value.bias'，'encoder.encoder.layer.5.attention.self.key.bias'，'encoder.encoder.layer.2.attention .self.key.weight'，'encoder.encoder.layer.5.attention.output.LayerNorm.weight'，'encoder.encoder.layer.11.attention.self.key.bias'，'encoder.encoder.layer .1.attention.self.key.weight'，'encoder.encoder.layer.0.output.LayerNorm.bias'，'encoder.encoder.layer.2.attention.self.value.weight'，'encoder.encoder .layer.2.intermediate.dense.weight'，'encoder.encoder.layer.4.attention.self.query.weight'，'encoder.encoder.layer.5.attention.output.LayerNorm.bias'，'encoder .encoder.layer.5.attention.output.dense.weight'，'encoder.encoder.layer.9.intermediate.dense.bias'，'encoder.encoder.layer.3.attention.self.value.weight'， 'encoder.encoder.layer.11.output.LayerNorm.weight', 'encoder.encoder.layer.6.attention.self.val ue.bias'，'encoder.encoder.layer.7.attention.output.dense.bias'，'encoder.encoder.layer.7.attention.self.query.weight'，'encoder.encoder.layer.3。 intermediate.dense.bias'，'encoder.encoder.layer.11.attention.output.LayerNorm.weight'，'encoder.encoder.layer.1.attention.output.dense.encoder.bias'，'encoder.bias' 11.attention.self.query.bias'，'encoder.encoder.layer.5.attention.output.dense.bias'，'encoder.encoder.layer.8.attention.self.value.bias'，'encoder. encoder.layer.7.output.LayerNorm.weight'，'output_heads.1.classifier.weight'，'encoder.encoder.layer.2.intermediate.dense.bias'，'encoder.encoder.layer.10.attention。 output.LayerNorm.weight'，'encoder.encoder.layer.9.attention.self.value.bias'，'encoder.encoder.layer.10.output.LayerNorm.layer.10'，'encoder.en. Z78E6221F6393D1356681DB 398F14CE6DZ.LayerNorm.bias'，'encoder.encoder.layer.5.attention.self.value.bias'，'encoder.encoder.layer.9.attention.self.query.bias'，'encoder.encoder.layer。 8.attention.self.query.bias'，'encoder.encoder.layer.11.output.dense.weight'，'output_heads.1.classifier.bias'，'encoder.encoder.layer.4.attention.Z78E6221F6393D1356681DB398F14CE6 dense.bias', 'encoder.encoder.layer.2.output.dense.weight', 'encoder.encoder.layer.1.output.LayerNorm.weight', 'encoder.encoder.layer.2.attention.output. dense.bias', 'encoder.encoder.layer.9.output.LayerNorm.weight', 'encoder.encoder.layer.2.output.dense.bias', 'encoder.encoder.layer.9.attention.output.密集偏差'，'encoder.encoder.layer.10.attention.self.query.bias'，'encoder.encoder.layer.7.intermediate.dense.weight'，'encoder.encoder.layer.0.attention。 Z78E6 221F6393D1356681DB398F14CE6DZ.dense.bias'，'encoder.encoder.layer.11.attention.self.value.bias'，'encoder.encoder.layer.3.intermediate.dense.weight'，'encoder.encoder.layer.3。 attention.self.query.bias'，'encoder.encoder.layer.8.attention.self.value.weight'，'encoder.encoder.layer.11.intermediate.dense.bias'，'encoder.encoder.layer。 5.output.dense.weight'，'encoder.encoder.layer.2.output.LayerNorm.bias'，'encoder.encoder.layer.10.intermediate.dense.layer.11. middle.dense.weight'，'encoder.encoder.layer.5.attention.self.value.weight'，'encoder.encoder.layer.9.attention.output.dense.weight'，'encoder.encoder.layer。 2.attention.output.dense.weight', 'encoder.encoder.layer.6.output.dense.weight', 'encoder.encoder.layer.1.output.dense.bias', 'encoder.encoder.layer. 3.attention.self.value.bias', 'enc oder.encoder.layer.3.attention.output.dense.weight'，'encoder.encoder.layer.4.intermediate.dense.bias'，'encoder.encoder.layer.0.attention.self.value.weight' , 'encoder.encoder.layer.9.attention.output.LayerNorm.bias', 'encoder.encoder.layer.7.attention.self.value.weight', 'encoder.encoder.layer.10.intermediate.dense.偏差'，'encoder.encoder.layer.5.intermediate.dense.bias'，'encoder.encoder.layer.8.output.dense.bias'，'encoder.encoder.layer.3.attention.output.LayerNorm. weight', 'encoder.encoder.layer.4.output.dense.bias', 'encoder.encoder.layer.4.output.LayerNorm.weight', 'encoder.encoder.layer.8.attention.output.LayerNorm.偏差'，'encoder.encoder.layer.0.attention.output.LayerNorm.bias'，'encoder.encoder.layer.4.intermediate.dense.weight'，'encoder.encoder.layer.6.Z7 8E6221F6393D1356681DB398F14CE6DZ.LayerNorm.weight'，'encoder.encoder.layer.9.attention.self.key.weight'，'encoder.encoder.layer.3.output.dense.bias'，'encoder.encoder.layer.0. attention.output.dense.weight', 'encoder.encoder.layer.9.output.dense.weight', 'encoder.encoder.layer.0.output.LayerNorm.weight', 'encoder.encoder.layer.11. output.LayerNorm.bias'，'encoder.encoder.layer.3.attention.self.query.weight'，'encoder.encoder.layer.0.attention.self.query.bias'，'encoder.encoder.layer。 0.attention.self.key.bias'，'encoder.encoder.layer.3.attention.self.key.bias'，'encoder.encoder.layer.1.attention.output.dense.weight'，'编码器。 encoder.layer.7.output.dense.bias'，'encoder.encoder.layer.9.attention.self.query.weight'，'encoder.encoder.layer.8.attention.output.LayerNorm.we ight'，'encoder.encoder.layer.10.attention.self.query.weight'，'encoder.encoder.layer.4.attention.self.value.bias'，'encoder.encoder.layer.3.attention。 output.LayerNorm.bias', 'encoder.encoder.layer.8.attention.output.dense.bias', 'encoder.encoder.layer.7.attention.self.key.layer.bias', 'encoder.encoder. 0.output.dense.weight'，'encoder.encoder.layer.11.attention.self.key.weight'，'encoder.encoder.layer.8.attention.self.key.bias'，'encoder.embeddings。 LayerNorm.weight'，'encoder.encoder.layer.2.attention.self.query.weight'，'encoder.encoder.layer.6.output.LayerNorm.bias'，'encoder.encoder.layer.7.Z78E6221F6393D13566Z81DB398F14CED6 LayerNorm.bias'，'encoder.encoder.layer.2.attention.self.key.bias'，'encoder.encoder.layer.6.intermediate.dense.bias'，'encoder.encoder.layer.6.attention。 output.LayerNorm.weight'，'encoder.encoder.layer.9.attention.self.value e.weight'，'encoder.encoder.layer.1.intermediate.dense.bias'，'encoder.encoder.layer.1.attention.self.query.weight'，'encoder.encoder.layer.4.attention。 self.key.weight'，'encoder.encoder.layer.1.output.dense.weight'，'encoder.encoder.layer.8.attention.self.key.weight'，'encoder.encoder.layer.1。注意.self.value.weight']

 This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another

架构（例如，从 BertForPreTraining 模型初始化 BertForSequenceClassification model）。 如果您从您期望完全相同的 model 的检查点初始化 BertModel，这不是预期的（从 BertForSequenceClassification 模型初始化 BertForSequenceClassification model）。 BertModel 的一些权重不是从 HCKLab/BiBert-MultiTask 的 model 检查点初始化的，而是新初始化的：['encoder.layer.0.intermediate.dense.weight', 'encoder.layer.7.attention.self.key.权重'，'encoder.layer.6.attention.self.query.weight'，'encoder.layer.5.output.LayerNorm.bias'，'encoder.layer.7.attention.output.LayerNorm.weight' encoder.layer.6.attention.output.LayerNorm.weight', 'encoder.layer.3.output.dense.weight', 'encoder.layer.2.attention.output.dense.bias', 'encoder.layer. 0.attention.output.LayerNorm.weight'，'encoder.layer.1.attention.self.key.bias'，'encoder.layer.0.attention.output.dense.weight'，'encoder.layer.1。 attention.self.value.bias'，'encoder.layer.4.attention.self.value.weight'，'encoder.layer.1.attention.Z78E6221F6393 D1356681DB398F14CE6DZ.dense.bias'，'encoder.layer.7.intermediate.dense.bias'，'encoder.layer.2.output.LayerNorm.bias'，'encoder.layer.8.intermediate.dense.bias'，' encoder.layer.0.output.dense.bias'，'encoder.layer.10.intermediate.dense.weight'，'encoder.layer.5.attention.self.query.bias'，'encoder.layer.2。注意.self.query.weight'，'encoder.layer.5.attention.self.query.weight'，'encoder.layer.0.intermediate.dense.bias'，'encoder.layer.8.intermediate.dense。权重'，'encoder.layer.10.output.dense.bias'，'encoder.layer.0.attention.self.key.weight'，'encoder.layer.5.attention.output.dense.bias'，' encoder.layer.5.output.LayerNorm.weight'，'encoder.layer.7.intermediate.dense.weight'，'encoder.layer.8.output.dense.bias'，'encoder.layer.9.attention self.key.bias'，'encoder.layer.11.output.dense.wei ght'，'encoder.layer.9.attention.self.key.weight'，'embeddings.LayerNorm.bias'，'encoder.layer.6.intermediate.dense.weight'，'encoder.layer.7.attention。 self.query.bias'，'encoder.layer.1.intermediate.dense.weight'，'encoder.layer.7.attention.self.key.bias'，'encoder.layer.11.attention.output.dense。 bias', 'encoder.layer.4.output.LayerNorm.weight', 'encoder.layer.7.attention.output.dense.weight', 'encoder.layer.11.attention.output.LayerNorm.bias', ' encoder.layer.5.output.dense.bias'，'encoder.layer.3.attention.self.query.bias'，'encoder.layer.8.attention.self.key.bias'，'encoder.layer。 11.attention.self.query.bias'，'encoder.layer.1.attention.output.LayerNorm.weight'，'encoder.layer.4.attention.output.LayerNorm.weight'，'s , 'encoder.layer.3.intermediate.dense.weight', 'encoder.la yer.10.attention.self.query.bias'，'encoder.layer.8.output.LayerNorm.weight'，'encoder.layer.7.attention.output.LayerNorm.bias'，'encoder.layerNorm.bias' output.LayerNorm.bias', 'encoder.layer.3.attention.self.query.weight', 'encoder.layer.1.output.dense.weight', 'encoder.layer.4.output.dense.bias' , 'encoder.layer.10.attention.self.value.bias', 'encoder.layer.4.attention.self.query.weight', 'encoder.layer.7.output.dense.weight', 'encoder. layer.2.attention.self.query.bias'，'encoder.layer.1.intermediate.dense.bias'，'encoder.layer.10.output.LayerNorm.weight'，'encoder.layer.2.attention。 self.value.bias'，'encoder.layer.11.attention.self.key.bias'，'encoder.layer.4.attention.output.LayerNorm.bias'，'encoder.layer.8.attention.Z78E6221F6393D1356681DB398F14CED6密集的偏差'，'enc oder.layer.2.attention.self.value.weight'，'encoder.layer.6.output.LayerNorm.bias'，'encoder.layer.8.attention.self.key.weight'，'encoder.layer。 0.attention.self.query.weight'，'encoder.layer.6.attention.self.query.bias'，'encoder.layer.8.attention.self.query.weight'，'encoder.layer.4。 attention.output.dense.weight', 'encoder.layer.6.output.dense.weight', 'encoder.layer.11.attention.output.LayerNorm.weight', 'encoder.layer.9.attention.output. LayerNorm.weight', 'encoder.layer.11.output.dense.bias', 'encoder.layer.1.output.LayerNorm.weight', 'encoder.layer.1.attention.output.dense.weight', ' encoder.layer.6.attention.self.value.bias'，'encoder.layer.7.attention.output.dense.bias'，'encoder.layer.8.attention.self.value.bias'，'encoder.层.5.a 注意.self.value.bias'，'encoder.layer.3.intermediate.dense.bias'，'encoder.layer.11.intermediate.dense.bias'，'encoder.layer.9.attention.self.value。偏差'，'encoder.layer.1.attention.self.key.weight'，'encoder.layer.9.attention.self.query.weight'，'encoder.layer.9.attention.self.value.weight' , 'encoder.layer.4.attention.self.key.weight', 'embeddings.LayerNorm.weight', 'encoder.layer.3.attention.output.LayerNorm.bias', 'encoder.layer.2.attention. self.key.weight'，'encoder.layer.9.intermediate.dense.weight'，'encoder.layer.8.attention.output.LayerNorm.weight'，'encoder.layer.5.intermediate.dense.bias' , 'embeddings.token_type_embeddings.weight', 'encoder.layer.7.output.LayerNorm.bias', 'encoder.layer.7.attention.self.value.bias', 'encoder.layer.9.attention.self. query.bias'，'encoder.layer.3.attention.self.key.weight'，'encoder.layer.3.attention.output.dense.bias'，'encoder.la yer.0.output.dense.weight'，'encoder.layer.6.attention.self.key.bias'，'encoder.layer.4.intermediate.dense.weight'，'encoder.layer.8.attention。 self.value.weight'，'encoder.layer.10.attention.self.key.bias'，'encoder.layer.7.attention.self.value.weight'，'encoder.layer.11.attention.self。 value.weight'，'pooler.dense.weight'，'encoder.layer.8.attention.self.query.bias'，'encoder.layer.0.attention.self.key.bias'，'encoder.layer。 9.output.dense.weight', 'encoder.layer.10.attention.output.LayerNorm.weight', 'encoder.layer.9.output.LayerNorm.bias', 'encoder.layer.2.intermediate.dense.权重'，'encoder.layer.10.attention.self.query.weight'，'encoder.layer.11.attention.self.value.bias'，'encoder.layer.0.attention.output.dense.bias' , 'encoder.layer.1.attention.self.value.weight', 'encoder.layer.0.output.LayerNorm.bias', 'encoder.la yer.6.attention.self.key.weight'，'encoder.layer.6.attention.output.LayerNorm.bias'，'encoder.layer.7.attention.self.query.weight'，'encoder.layer。 6.attention.output.dense.bias'，'encoder.layer.5.attention.self.value.weight'，'encoder.layer.3.attention.self.value.weight'，'encoder.layer.5。 output.dense.weight', 'encoder.layer.4.intermediate.dense.bias', 'encoder.layer.5.attention.output.LayerNorm.weight', 'encoder.layer.1.output.LayerNorm.bias' , 'encoder.layer.7.output.LayerNorm.weight', 'encoder.layer.3.output.LayerNorm.weight', 'encoder.layer.5.attention.output.dense.weight', 'encoder.layer. 11.attention.self.key.weight'，'encoder.layer.9.attention.output.dense.bias'，'encoder.layer.6.output.dense.bias'，'encod er.layer.2.output.dense.weight'，'encoder.layer.11.intermediate.dense.weight'，'encoder.layer.11.output.LayerNorm.attention.1'，'encoder.layer.1 self.query.bias'，'encoder.layer.2.attention.output.dense.weight'，'encoder.layer.2.output.LayerNorm.weight'，'encoder.layer.0.attention.self.query.偏差'，'encoder.layer.1.attention.output.LayerNorm.bias'，'encoder.layer.9.attention.output.dense.weight'，'encoder.layer.10.intermediate.dense.bias' encoder.layer.9.intermediate.dense.bias'，'embeddings.word_embeddings.weight'，'encoder.layer.0.attention.output.LayerNorm.bias'，'encoder.layer.6.intermediate.dense.bias' , 'encoder.layer.8.output.LayerNorm.bias', 'encoder.layer.4.output.dense.weight', 'encoder.layer.10.Z78E6221F63393FD1 14CE6DZ.dense.weight', 'encoder.layer.9.output.dense.bias', 'encoder.layer.10.attention.output.dense.weight', 'encoder.layer.6.attention.output.dense.权重'，'encoder.layer.4.attention.self.query.bias'，'encoder.layer.6.output.LayerNorm.weight'，'encoder.layer.11.attention.self.query.weight'，' encoder.layer.2.attention.output.LayerNorm.weight'，'encoder.layer.1.attention.self.query.weight'，'encoder.layer.3.attention.self.key.bias'，'encoder. layer.7.output.dense.bias', 'encoder.layer.0.output.LayerNorm.weight', 'encoder.layer.3.attention.output.LayerNorm.weight', 'encoder.layer.5.intermediate. dense.weight'，'encoder.layer.6.attention.self.value.weight'，'encoder.layer.8.attention.output.dense.weight'，'encoder.layer.11.attention.Z78E6221 F6393D1356681DB398F14CE6DZ.dense.weight'，'encoder.layer.10.attention.output.LayerNorm.bias'，'encoder.layer.3.attention.self.value.bias'，'encoder.layer.10.attention.self. key.weight'，'encoder.layer.4.attention.output.dense.bias'，'encoder.layer.4.attention.self.key.bias'，'encoder.layer.5.attention.output.LayerNorm。偏差'，'encoder.layer.10.output.LayerNorm.bias'，'encoder.layer.2.attention.output.LayerNorm.bias'，'encoder.layers.0.attention.self.value' embeddings.position_embeddings.weight'，'encoder.layer.2.intermediate.dense.bias'，'encoder.layer.9.attention.output.LayerNorm.bias'，'encoder.layer.10.attention.Z78E6221F6393D1356681denseZD8.偏差'，'encoder.layer.8.output.dense.weight'，'encoder.layer.11.output.LayerNorm.bias'，'encoder.layer.2.att ention.self.key.bias'，'encoder.layer.4.attention.self.value.bias'，'encoder.layer.5.attention.self.key.weight'，'encoder.layer.8.attention。 output.LayerNorm.bias', 'encoder.layer.9.output.LayerNorm.weight', 'encoder.layer.10.attention.self.value.weight', 'encoder.layer.1.output.dense.bias' , 'encoder.layer.3.output.dense.bias', 'encoder.layer.3.attention.output.dense.weight', 'encoder.layer.2.output.dense.bias', 'encoder.layer. 3.output.LayerNorm.bias', 'encoder.layer.0.attention.self.value.weight', 'encoder.layer.5.attention.self.key.bias'] 你应该训练这个 model -stream 任务，以便能够将其用于预测和推理。

要从集线器加载它，我会：

从转换器导入 BertModel 检查点 =“HCKLab/BiBert-MultiTask” 标记器 = AutoTokenizer.from_pretrained(检查点)

model1 = MultiTaskModel（检查点，任务）.to（设备）

你能告诉我我想念什么吗？为什么当我在训练到集线器后分享 model 时我不保存权重？ 谢谢你的帮助

谢谢你的帮助。