在 allennlp 中使用 Transformer QA 預訓練 model 進行閱讀理解的通過限制

Question

在 allennlp 中使用 transformer-qa model 進行閱讀理解的最大通過限制或硬件限制是多少：

Predictor.from_path('https://storage.googleapis.com/allennlp-public-models/transformer-qa-2020-10-03.tar.gz').predict(passage=passage, question=question)

我收到“DefaultCPUAllocator：沒有足夠的 memory：您試圖分配 23437770752 字節。購買新的 RAM！” 錯誤

Answer 1

我不認為該錯誤消息來自 AllenNLP。 當你得到它時，你在跑什么？

這個數字代表 22GB，這對於 TransformerQA model 來說太大了，除非您要發送一個非常大的序列。 一般來說，TransformerQA 一次只能做 512 個令牌。 如果您的文本有超過 512 個標記，它將把它分成多個長度為 512 的序列。 它創建的這些 512 長度序列的數量的唯一限制是您的 memory 的大小和您的耐心。