標簽[allennlp] - 堆棧內存溢出

[英]How to convert a list of words into multiple sentences in python

例如：輸入：姓名：['FirstName','LastName','FirstNameLastName'] 客戶賬號：['Customer', 'Account', 'Number', 'Customer Account', 'Customer Number', 'Customer Account ...

如何在 conda 上安裝 jso.net

[英]How to install jsonnet on conda

我正在安裝 allennlp，它有很多依賴項。一切都安裝正常，但 Jso.net 的安裝失敗。我嘗試使用pip install jso.net手動安裝 jso.net 來安裝 jso.net，但這也不起作用。 ...

Allennlp 訓練后不生成 model.tar.gz

[英]Allennlp Does not generate model.tar.gz after training

我正在用 Alennlp 訓練一個共指分辨率 model。但是，在我執行命令train_data_path=<train path> validation_data_path=<dev path> test_data_path=<testpath> datas ...

AllenNLP 偏向 BERT 嗎？

[英]Is AllenNLP biased towards BERT?

在我所在大學的研究小組中，我們一直在為葡萄牙語預訓練 RoBERTa model 以及同樣基於 RoBERTa 的特定領域的預訓練。我們一直在使用huggingface 的 transformers 庫進行一系列基准測試，RoBERTa 模型在幾乎所有數據集和任務上的表現都優於現有的葡萄牙語 B ...

為什么 AllenNLP 中的度量是用張量計算的？我可以根據字符串定義指標嗎？

[英]Why are metrics in AllenNLP calculated with tensors? Can I define a metric based on strings?

我在我的項目中使用AllenNLP ，我對Metric感到困惑：所有指標都是用張量計算的，包括bleu和rouge 。但是有時我可能想用空格標記的字符串來計算指標。內置指標是在BertTokenizer標記化的標記級別中計算的，可能會因為標記化的不同而產生不同的結果。目前我正在將張量轉換為標 ...

Allennlp：如何使用 CPU 而不是 GPU？

[英]Allennlp: How to use CPU instead of GPU?

我正在運行一些在有 GPU 時有效的代碼。但我試圖弄清楚如何使用 CPU 在本地運行它。這是錯誤：你能給我一些指導嗎？配置文件在哪里，它叫什么？這是代碼（最初來自： https ://colab.research.google.com/drive/1F9zW_nVkwfwIVXTOA ...

將 AllenNLP 之外的預訓練模型添加到 AllenNLP 演示

[英]Adding a pretrained model outside of AllenNLP to the AllenNLP demo

我正在研究模型的可解釋性。我想使用 AllenAI 演示來檢查其他模型上的顯着性圖和對抗性攻擊方法（在此演示中實現）。我在這里使用教程並在我的本地機器上運行演示。現在我想加載來自擁抱臉的預訓練模型（“cardiffnlp/twitter-roberta-base-sentiment-lates ...

RuntimeError：預期為 3 維張量，但參數為 2 維張量

[英]RuntimeError: Expected 3-dimensional tensor, but got 2-dimensional tensor for argument

我有兩個張量名稱：“wy”和“x”，它們的大小均為 8：現在，我想做 bmm 乘以 x * w 如下：我收到一個錯誤： 8*8應該可以。但我不知道為什么我每次都會收到這個錯誤。請幫忙！ ...

AllenNLP 共指解析訓練和替代模型的 OOM 問題

[英]OOM issues with AllenNLP coreference resolution training and substituting models

我有幾個關於訓練和評估 AllenNLP 的共指解析模型的問題。對於應該使用哪些 GPU 進行訓練，是否有任何限制/規范？我在具有 24220 MiB 內存的 Titan RTX GPU 上進行訓練的中途遇到了 OOM 問題。是否有任何我可以更改的參數可能會有所幫助（注意：我使用的是BE ...

用coref中的GRU替換雙向LSTM？

[英]Replace bidirectional LSTM with GRU in coref?

我正在使用來自 bert_lstm.jsonnet 的模板配置來訓練 Allennlp 的從粗到細的共指模型（對於英語以外的其他語言）。當我將上下文層的類型“lstm”替換為“gru”時，它可以工作，但似乎對訓練的影響很小。每個 epoch 消耗相同的 63 GB RAM，驗證 f1-score ...

無法導入 OrderedDict ImportError：無法導入名稱“OrderedDict”

[英]can't import OrderedDict ImportError: cannot import name 'OrderedDict'

我正在嘗試使用 allennlp 運行 repo。當我運行它時，我無法通過在ddp_accelerator.py文件中from typing import OrderedDict 。 Traceback (most recent call last): File "train.py", lin ...

如何使用 BertPreTrainedModel.from_pretrained() 加載微調的 AllenNLP BERT-SRL model？

[英]How do I load a fine-tuned AllenNLP BERT-SRL model using BertPreTrainedModel.from_pretrained()?

我使用 AllenNLP 對 BERT model 進行了微調，用於語義角色標記。這會生成一個 model 目錄（序列化目錄，如果我沒記錯的話？），其中包含以下內容：其中vocabulary是一個包含labels.txt和non_padded_namespaces.txt的文件夾。我現在想使 ...

錯誤訓練 ELMo - RuntimeError：張量 a (5158) 的大小必須與非單維 1 處的張量 b (5000) 的大小匹配

[英]Error training ELMo - RuntimeError: The size of tensor a (5158) must match the size of tensor b (5000) at non-singleton dimension 1

我正在嘗試在 AllenNLP 上訓練我自己的自定義 ELMo model。以下錯誤RuntimeError: The size of tensor a (5158) must match the size of tensor b (5000) at non-singleton dimension ...

RuntimeError：為 SrlBert 加載 state 字典時出錯缺少鍵：['bert_model.embeddings.position_ids'] 意外鍵：[]

[英]RuntimeError: Error loading state dict for SrlBert Missing keys: ['bert_model.embeddings.position_ids'] Unexpected keys: []

我只是 NLP 的初學者，正試圖通過實施來學習語義角色標簽概念。我試圖從 allennlp 的公共存儲中加載 bert-base-srl model。但是遇到以下錯誤：有人知道解決這個問題嗎？ ...

運行時錯誤：運行時錯誤：未定義的外部變量：jsonlines_embedding_format

[英]RuntimeError: RUNTIME ERROR: undefined external variable: jsonlines_embedding_format

當我運行命令時，ant 遇到了這個問題。 allennlp 的版本是 0.9。 allennlp train /root/code/python/share/scidocs/data/recomm/train_similar_papers_model.json -s /root/code/pyt ...

如何在 AllenNLP 中將基於 AllenNLP BERT 的語義角色標記更改為 RoBERTa

[英]How to change AllenNLP BERT based Semantic Role Labeling to RoBERTa in AllenNLP

目前我可以使用下面的配置文件訓練語義角色標簽model。此配置文件基於AllenNLP 提供的配置文件，適用於默認的bert-base-uncased uncased model 和GroNLP/bert-base-dutch-cased 。{ "dataset_reader": { ...

Allennlp：如何加載預訓練的 ELMo 作為 allennlp model 的嵌入？

[英]Allennlp: How to load a pretrained ELMo as the embedding of allennlp model?

我是 allennlp 的新成員。我訓練了一個 elmo model 將其作為嵌入應用於其他 allennlp 模型但失敗了。似乎我的 model 與配置提供的接口不兼容。我能做什么？我的 elmo 由 allennlp 使用以下命令訓練： elmo.jso.net 與https://g ...

在 Allennlp 中，我們如何在 PretrainedTransformerMismatchedEmbedder 中設置“sub_module”參數？

[英]In Allennlp, how can we set "sub_module" argument in PretrainedTransformerMismatchedEmbedder?

如題。我想使用 BART 或 T5 作為嵌入器，我想使用 PretrainedTransformerMismatchedEmbedder 因為在嵌入之后我想在令牌級別上做一些操作。然而，我發現在不匹配的嵌入器中不可用，在使用 EncDec PLM 作為嵌入器時似乎需要的“sub_module” ...

注意：此錯誤源自子進程，可能不是 pip 的問題

[英]note: This error originates from a subprocess, and is likely not a problem with pip

在下載pip install allennlp==1.0.0 allennlp-models==1.0.0 我遇到了這個問題： I have downloaded: pip install -vvv torch, pip install numpy pip3 install --pre torch ...

語義角色標簽張量問題

[英]Semantic Role Labeling tensor issue

我在 df.sentence 列中有一個 dataframe 有長句子。我正在嘗試使用語義角色標簽提取 arg0 並將 arg0 保存在單獨的列中。我不斷收到此錯誤：這是我的代碼：我想我應該在這里創建一行可以跳過的新代碼，而不是拋出錯誤，並添加 df.arg0 'failed'.. 等等。我 ...