標簽[spacy-pytorch-transformers]

[英]Force 'parser' to not segment sentences?

有沒有一種簡單的方法可以告訴“解析器”管道不要更改Token.is_sent_start的值？所以，故事是這樣的：我正在處理預先分詞的文檔（1 行 = 1 句），這個分詞就是我所需要的。我意識到解析器的分割並不總是與我的文檔中的相同，所以我不想依賴它所做的分割。解析器完成后我無法更改分段， ...

是否可以將自定義實體標簽添加到 Spacy 3.0 配置文件？

[英]Is it possible to add custom entity labels to Spacy 3.0 config file?

我正在使用 spacy-transformers 和 roBERTa 開發自定義 NER 模型。我實際上只是為此使用 CLI，並且正在嘗試更改我的 Spacy config.cfg 文件以考慮管道中的自定義實體標簽。我是 Spacy 的新手，但我發現人們通常使用 ner.add_label 來 ...

在 spaCy 3.0 中加載管道時出錯

[英]Error when loading pipelines in spaCy 3.0

更新到 spaCy 3.0.6 后，我無法加載任何一個經過訓練的管道，盡管兩者似乎都已正確安裝：使用 spacy.load() 並將管道作為模塊導入時會發生這種情況（以下所有行的錯誤都是相同的）：我得到的錯誤如下：從當前穩定版本 1.8.1 恢復到 torch 1.4.0 可以解決問題，但我不 ...

Spacy BILOU 格式到 spacy json 格式

[英]Spacy BILOU format to spacy json format

我正在嘗試將我的 spacy 版本升級到 nightly，特別是為了使用 spacy 變壓器所以我轉換了 spacy 簡單的訓練數據集，格式如下 td = [["Who is Shaka Khan?", {"entities": [(7, 17, "FRIENDS")]}],["I like Lo ...

兩個圖像 Pytorch 變換的相同隨機裁剪

[英]Identical random crop on two images Pytorch transforms

我正在嘗試將兩個圖像輸入網絡，並且我想在這兩個圖像之間進行相同的轉換。 transforms.Compose()一次拍攝一張圖像並產生彼此獨立的 output 但我想要相同的轉換。我為hflip()進行了自己的編碼，現在我有興趣獲得隨機裁剪。有沒有辦法在不編寫自定義函數的情況下做到這一點？ ...

Huggingface Bert：Output 印刷

[英]Huggingface Bert: Output Printing

我是編碼新手，可以使用指導來了解為什么它會像現在這樣奇怪地打印。雖然這與 NLP 有關，但我相信這個錯誤很可能是由比我有更多編碼知識的人解釋的。我希望這是提出這個問題的正確地方。感謝您的幫助！ OUTPUT： [4] ...

Spacy中向量的順序/上下文感知文檔/句子

[英]Order/context-aware document / sentence to vectors in Spacy

我想用句子做一些有監督的二元分類任務，並且一直在使用 spaCy，因為它易於使用。我使用 spaCy 將文本轉換為向量，然后將向量輸入機器學習 model（例如 XGBoost）來執行分類。然而，結果並不是很令人滿意。在 spaCy 中，很容易加載model （例如 BERT / Robert ...

如何加載部分預訓練的 pytorch model？

[英]How can I load a partial pretrained pytorch model?

我正在嘗試讓 pytorch model 在句子分類任務上運行。在處理醫學筆記時，我正在使用 ClinicalBert ( https://github.com/kexinhuang12345/clinicalBERT ) 並希望使用其預先訓練的權重。不幸的是，ClinicalBert mod ...

使用 huggingface fill-mask 管道來獲得它不建議的結果的“分數”

[英]Using huggingface fill-mask pipeline to get the “score” for a result it didn't suggest

我一直在使用 huggingface 對蒙面令牌進行預測，效果很好。我注意到，對於每個預測，它都會給出一個“分數”，並且希望為一些它沒有預測但我提供的標記給出“分數”。例如，如果我的句子是"I ate bacon and <mask> for breakfast"我可以使用pipe ...

為什么我的訓練函數會拋出 Name 錯誤“未定義名稱衰減”？

[英]Why does my training function throw up the Name error "name decaying is not defined"?

所以，我是 NLP 的新手，我正在嘗試使用 spacy_transformers 訓練文本分類器。此代碼已被證明可以運行，但它在我的計算機上引發錯誤。作為旁注，它可能是由我在 cpu 上運行的脂肪引起的嗎？然后當我傳遞函數時我收到以下錯誤 ...

SpaCy-transformers 回歸輸出

[英]SpaCy-transformers regression output

我想要一個回歸輸出而不是分類。例如：我想要一個從 0 到 1 的浮點輸出值，而不是 n 個類。這是包 github 頁面中的簡約示例： import spacy from spacy.util import minibatch import random imp ...

spaCy BERT 字典

[英]spaCy BERT dictionary

我正在嘗試訪問 spaCy BERT 字典，但我從模型中收到奇怪的輸出。例如對於en_core_web_lg模型，我可以像這樣提取大約 130 萬個令牌當我對en_trf_bertbaseuncased_lg模型做同樣的en_trf_bertbaseuncased_lg我只得到 478 個令 ...

如何在 Google Colab 中開始使用 spacy 庫及其模塊？

[英]How to get started with spacy library and its module in Google Colab?

我在colab GPU 筆記本中加載Spacy模塊時colab問題。此命令適用於anaconda notebook 下載，但如何在 Google Colab下載並加載模塊？ ...

pytorch 中預訓練 BERT 錯誤的權重初始化

[英]Weight Initialization from pretrained BERT error in pytorch

我正在嘗試使用 pytorch 使用預訓練模型（BERT）訓練模型。預訓練的模型權重仍然不被接受。我看到這個錯誤：這是完整的回溯：任何幫助都會很棒。提前致謝 ...

如何在 spacy-pytorch-transformers 中計算令牌向量

[英]How are token vectors calculated in spacy-pytorch-transformers

我目前正在使用spacy-pytorch-transformer package 來試驗各自的嵌入。在閱讀介紹性文章（基本上是 GitHub README）時，我的理解是令牌級別的嵌入是所有相應詞塊嵌入的平均值，即embed(complex)將與1/2 * embed(comp#) * embed ...

Model() 為參數“nr_class”獲得了多個值 - SpaCy 多分類模型（BERT 集成）

[英]Model() got multiple values for argument 'nr_class' - SpaCy multi-classification model (BERT integration)

嗨，我正在使用新的 SpaCy 模型en_pytt_bertbaseuncased_lg實現多分類模型（5 個類）。新管道的代碼在這里：訓練代碼如下，基於這里的示例（ https://pypi.org/project/spacy-pytorch-transformers/ ）：所以我的 ...