标签[roberta] - 堆栈内存溢出

Got an Input to reshape is a tensor with 3368 values, but the requested shape has 2048 error while fine-tuning Roberta - Got an Input to reshape is a tensor with 3368 values, but the requested shape has 2048 error while fine-tuning Roberta

我有一个 csv 文件，它有两个输入列和一个 class 带有多个标签，这意味着我正在尝试使用微调的 RoBERTa model 进行多类分类。这是我的 csv 文件（ df ）的结构：我按照这个HuggingFace教程，看到他们使用DatasetDict所以我将我的 csv 文件转换为Da ...

AllenNLP 偏向 BERT 吗？ - Is AllenNLP biased towards BERT?

在我所在大学的研究小组中，我们一直在为葡萄牙语预训练 RoBERTa model 以及同样基于 RoBERTa 的特定领域的预训练。我们一直在使用huggingface 的 transformers 库进行一系列基准测试，RoBERTa 模型在几乎所有数据集和任务上的表现都优于现有的葡萄牙语 B ...

罗伯塔无法在句子对分类中学习和预测正类 - Roberta is not able to learn and predict positive class in sentence pair classification

我正在使用 Roberta 训练一个句子对二元分类模型，但该模型无法学习正类（标签为 1 的类）。我的数据集不平衡，因此：训练数据 - 0 --- 140623 1 --- 5537 验证数据 - 0 --- 35156 1 --- 1384 训练在验证数据上产生 0 个真阳性和 0 个 ...

Pytorch ram 在每个纪元后都没有释放 - Pytorch ram does not free after every epoch

我正在使用 PyTorch 与 Roberta 一起训练多标签文本分类器。然而，在第 2 个纪元 ram 填充和 kernel 崩溃后，我检查了每个纪元后 ram 都没有被释放。我有 64GB RAM，8 个 CPU 内核可能是什么问题？这是我的 PyTorch 实现： class Read ...

NER 分类 Deberta Tokenizer 错误：您需要实例化 DebertaTokenizerFast - NER Classification Deberta Tokenizer error : You need to instantiate DebertaTokenizerFast

我正在尝试使用 Deberta 执行 NER 分类任务，但我遇到了 Tokenizer 错误。这是我的代码（我的输入句子必须用“，：”逐字分割：）：我有这个结果：然后我继续，但我有这个错误：而且我认为原因是我需要以下格式的令牌结果（这是不可能的，因为我的句子被“，”分割：所以我尝试了这两 ...

为 RobertaForSequenceClassification 加载 state_dict 时出错 - Error(s) in loading state_dict for RobertaForSequenceClassification

我正在使用经过微调的 Roberta Model，它是在 Jigsaw Data 上训练的unbiased-toxic-roberta ： https://huggingface.co/unitary/unbiased-toxic-roberta 它在 16 个类上进行了微调。我正在编写用于二进 ...

尝试使用 huggingface 预训练的 Tokenizer (roberta-base) 时出现错误消息 - Error message when trying to use huggingface pretrained Tokenizer (roberta-base)

我对此很陌生，所以我可能完全遗漏了一些东西，但这是我的问题：我正在尝试创建一个使用 Huggingface 的预训练标记器模型的标记器 class。然后我想在更大的变压器 model 中使用这个 class 来标记我的输入数据。这是 class 代码 class 罗伯塔（MyTokenizer） ...

用 Huggingface 从头开始训练语言模型的问题 - Questions when training language models from scratch with Huggingface

我正在按照这里的指南（https://github.com/huggingface/blog/blob/master/how-to-train.md ， https://huggingface.co/blog/how-to-train ）进行训练从头开始构建类似 RoBERTa 的模型。（使用我 ...

预训练的罗伯塔关系提取属性错误 - pretrained roberta relation extraction attribute error

我试图让以下预训练的拥抱脸模型工作： https ://huggingface.co/mmoradi/Robust-Biomed-RoBERTa-RelationClassification 我使用以下代码：出于某种原因，我在尝试生成输出时收到以下错误，因此在我的代码的最后一行中： ...

分词器和模型可以使用不同的转换器模型吗？ - Can use different transformer model for tokenizer and model?

我可以将 roberta 用于分词器，而 bert 用于模型吗？ ...

AutoModelForSequenceClassification 需要 PyTorch 库，但在您的环境中未找到 - AutoModelForSequenceClassification requires the PyTorch library but it was not found in your environment

我正在尝试使用 roberta 变压器和预训练的 model 但我不断收到此错误：这是我的代码：我确保 PyTorch 已安装并正常工作： ...

如何从 RoBERTa 获得每个单词（令牌）的单个嵌入向量？ - How do you get single embedding vector for each word (token) from RoBERTa?

您可能知道， RoBERTa (BERT, etc.)有自己的分词器，有时您会得到给定单词的片段作为令牌，例如嵌入 » 嵌入、#dings 由于我正在处理的任务的性质，我需要每个单词的单一表示。我如何得到它？清除：句子：“嵌入很好”-> 给出了 3 个单词标记 output: [emb ...

PyTorch：“TypeError：在 DataLoader 工作进程 0 中捕获 TypeError。” - PyTorch: “TypeError: Caught TypeError in DataLoader worker process 0.”

我正在尝试实施 RoBERTa model 进行情绪分析。首先，我声明了 GPReviewDataset 以创建 PyTorch 数据集。接下来，我实现create_data_loader来创建几个数据加载器。这是一个帮手 function 来做的：但是，当我运行此代码时，它会停止并给出以 ...

如果声称罗伯塔语言编程一个Calliope迷你？ - Bug in if statement of roberta language programming a Calliope mini?

我正在尝试使用提供的编辑器Roberta（一个图形界面（ https://lab.open-roberta.org/ ））对新发布的Calliope迷你计算机平台（ https://calliope.cc/ ）进行编程。检查是否按下某个键并输出hello world消息的简单程序无法正常 ...