Python - 如何第一次离线运行 huggingface 流水线？

Question

我有一个使用 Huggingface 管道的 python 代码。

from transformers import pipeline
import pandas as pd

tqa = pipeline(task="table-question-answering", model="google/tapas-base-finetuned-wtq")

table = pd.read.csv("table.csv")
table = table.astype(str)

query = ["who has the highest salary", "what is Brenden's tsrat date?"]

answers = tqa(table=table, query=query)

此代码在可以不受限制地访问 inte.net 的计算机上运行良好。 在第一次运行期间，此代码下载转换器并可能缓存它。 在随后的运行中，它不再下载文件。

但我的问题是我需要让这个程序在没有 inte.net 连接的受限服务器环境中运行。

我能够使用 offline.whl 文件安装所有必需的库，但第一次运行失败，因为它无法下载转换器。

我试过os.environ['TRANSFORMERS_OFFLINE']=1但只有当这些文件至少在系统中下载一次时它才会起作用。

如何让它发挥作用？ 我可以手动下载这些文件吗（如果是 - 如何？）并手动将其放置在目标服务器中的某个位置？

Answer 1

为了能够在没有 Inte.net 连接的情况下使用 HuggingFace model，您应该首先将所需的 model 存储库克隆到您的工作目录中。

为了克隆您指定的 model，只需运行：

git lfs install
git clone https://huggingface.co/google/tapas-base-finetuned-wtq

下载 model 后，您应该可以通过使用 model 存储库的路径作为 model 名称来使用管道：

pipe = pipeline(task="table-question-answering", model=<MODEL_REPOSITORY_PATH>)