拥抱脸 model Bio_ClinicalBERT 产生 404 错误

Question

我正在使用 emilyalsentzer/Bio_ClinicalBERT 的 Hugging Face 实现构建命名实体识别 (NER) model。 到目前为止，我对 model 没有任何问题。 我希望有人可以帮助我理解为什么它目前没有按预期工作。

问题 1 - 今天，尝试使用以下方法进行训练：

MODEL_NAME = 'emilyalsentzer/Bio_ClinicalBERT'
model = text.sequence_tagger('bilstm-bert', preproc, bert_model=MODEL_NAME)

导致此错误：404 Client Error: Not Found for url: https://huggingface.co/emilyalsentzer/Bio_ClinicalBERT/resolve/main/tf_model.h5

Hugging Face 是否提供任何类型的健康检查来确定其模型的状态？

问题 2 - 使用文件（model.h5、model.json 和 preproc.sav）我从早期的训练迭代中保存，我得到了上面显示的相同的 404 错误。 我不明白这些文件在哪里发生了对 Hugging Face 的调用。 .json中好像没有，.h5和.sav文件格式很难检查。 阅读有关这些文件的更多信息： https://medium.com/analytics-vidhya/how-to-deploy-your-neural-network-model-using-ktrain-ae255b134c77

早在二月份，我就使用这些确切的 model.h5、model.json 和 preproc.sav 文件来运行 NER 应用程序，使用 Streamlit，没问题。 不确定这是否是 Bio_ClinicalBERT 的临时问题，或者由于此变压器 model 可能存在永久性问题，我是否需要重新调整我的原始方法。

Answer 1

从您为问题 1 提供的 URL 判断，我了解您正在尝试为 TensorFlow model (tf_model) 加载预训练的权重

但是，您尝试加载的预训练 model仅在 PyTorch 版本中可用。 链接上的 Go 并查看页面顶部的标签。 这个 model 只有 PyTorch 标签，没有 Tensorflow 标签。

据我了解，在这种情况下，您应该从 PyTorch 检查点加载预训练的权重。 为此，您可以将此参数添加到执行加载的 function 中：

from_pt=True

Answer 2

正如ktrain repo 中的这篇文章所述，您应该能够安全地忽略该错误。

404 错误仅意味着变压器无法找到此特定 model 的 Tensorflow 版本（由ktrain请求）。 If you go to the Hugging Face model hub, you'll see that the model you're using was only uploaded as a PyTorch model.

In cases like this, the PyTorch version of the model checkpoint will be automatically downloaded by ktrain and then loaded as a Tensorflow model for training/fine-tuning. 如果您键入model.summary() ，它应该显示 model 已成功加载。

我认为您之前没有看到该错误的原因是因为较新版本的 Hugging Face 转换器显示 404 错误。