标签[nlp] 第2页 - 堆栈内存溢出

[英]Getting an embedded output from huggingface transformers

为了比较不同的段落，我尝试使用转换器 model，将每个段落拟合到 model 上，最后我打算比较输出并查看哪个段落最相似。为此，我使用的是 Roberta-base model。我首先在一个段落上使用了 roberta tokenizer。然后我在那个标记化的 output 上使用了 rob ...

如何提高 documentai 文档-ocr 处理器结果的质量

[英]How Can i improve the quality of documentai document-ocr processor result

我有这张图片（第一张图片），我想使用 document-ocr 处理器进行处理。我得到的 output 看起来有点像印在 python 控制台上的第二张图片。这个 output 包含在我的大部分文件中，处理得很糟糕。我怎样才能让 document-ocr 理解并产生完美的结果。 ...

将 POS 标记应用于嵌套列表

[英]Apply POS tag to nested list

我正在尝试 go 通过文本中的多个句子。每个句子都存储在嵌套列表结构中（即每个句子的列表以列表的形式）。然后我想将 POS 标记应用于句子中的每个“标记”并存储在另一个嵌套列表结构中。最终，我可以将其添加到 dataframe 并导出到 1 列中的 excel（每行都是一个句子）。我遇到的问 ...

与 Spacy 一起永远进行词形还原

[英]Lemmatization taking forever with Spacy

我正在尝试使用 spacy 对 dataframe 中的聊天记录进行词形还原。我的代码是：我有大约 600.000 行，应用需要两个多小时才能执行。是否有更快的包/方式来进行词形还原？（我需要一个适用于西班牙语的解决方案）我只尝试过使用 spacy package ...

Python nlpaug Sentece 增强器错误（50256 不在列表中）

[英]Python nlpaug Sentece augmenter error (50256 is not in list)

以下代码对 GPT2 和 X.net 基础都产生了这个错误。下载bases，但是每次最后都是同样的错误提示。顺便说一下，我正在使用 google colab。 ValueError：50256 不在列表中 ` 期望打印增强文本。 ...

我将如何从 Levenshtein 相似矩阵制作聚类？

[英]How would I make clusters from a Levenshtein similarity matrix?

我有一个单词的相似度矩阵，想应用一种可以将单词聚类的算法。这是我到目前为止的例子：显然这是一个非常简单的虚拟示例，但我希望 output 是 2 个集群，一个是“单身汉”、“单身女郎”、“单身汉特别”，另一个是“运动中心”、“运动中心”晚上 8 点”，“周日体育中心”。谁能帮我这个？ ...

将 JSON 值呈现为键 Python 之外的文本

[英]Render JSON value as a text besides a key Python

我有一个文档，它是一个包含字典的列表列表的 output：我想对“文字”进行分组以便仅获取文本，以便它成为 DNA {隐喻：循环}ing 所以让隐喻保持原样。我尝试使用下面的这段代码，但它说字符串索引必须是整数，而且我实际上无法如我所愿地获得解决方案。 ...

提高零样本分类的效率

[英]Increasing efficiency for zero shot classification

我正在对 label 大量数据使用零镜头分类。我写了一个简单的 function 来帮助我解决这个问题，我想知道是否有更好的方法来运行它。我现在的逻辑是把最高分和label和append这个label变成dataframe。在速度和资源方面，用 lambda 塑造这个 function 会更好 ...

组 JSON 以使其更具可读性

[英]Group JSON in order for it to be more readable

我有这个文件（ MYFILE.txt ），它是包含字典的列表列表的 output：我想将“文字”分组以仅获取文本，而将隐喻保留原样。我尝试使用下面的代码，但它说string indices must be integers ，而且我还认为我可以将它设为 HTML 并为其着色以更好地显示结果，但我 ...

[英]SparseTermSimilarityMatrix().inner_product() throws "cannot unpack non-iterable bool object"

在处理余弦相似度时，我在计算两个向量的内积时遇到了问题。代码：from gensim.similarities import ( WordEmbeddingSimilarityIndex, SparseTermSimilarityMatrix ) w2v_model ...

Flan T5 - 如何给出正确的提示/问题？

[英]Flan T5 - How to give the correct prompt/question?

为 Flan T5 语言 model 提供正确类型的提示，以便为聊天机器人/选项匹配用例获得正确/准确的响应。我正在尝试使用 Flan T5 model 来完成以下任务。给定一个向用户显示选项列表的聊天机器人，model 必须进行语义选项匹配。例如，如果选项是“烤鸡、烟熏三文鱼”，如果用户说 ...

用于检测来自两个不同组的文本段落之间差异的工具

[英]Tool for detecting differences between text passages from two different groups

我有来自两个不同组的文本数据。我总共有大约 4000 个文本段落，大约 300 个单词。我正在寻找一种工具来分析这两组之间的差异。在最好的情况下，这个工具可以分析不同的维度，例如句子的长度、最高级的使用、叙述者的视角、被动形式的使用、清晰客观的写作 VS 对冲和不精确的写作。 ...

如何下载NLTK数据？

[英]How to download NLTK data?

我是新数据科学。现在学习NLP，需要下载nlkt资料。我给这个代码：我收到此错误：我搜索了 inte.net 但得到了任何有用的信息。 WinError 10061 错误是什么意思。请帮我。谢谢 ...

spaCy 句子分离与来自 OpenAI Whisper / WhisperX 的字典源？

[英]spaCy sentence separation with dictionary source from OpenAI Whisper / WhisperX?

WhisperX 是一个 whisper 扩展，它在文本到语音方面做得非常出色，每个单词都有时间戳。我想使用 spaCy 将文本字符串拆分为合理的子句，但保持与源字典的连接，以便结果可以通知字幕和其他视频编辑工具。在 spaCy 中有没有办法做到这一点？我看到的大多数示例都需要输入文本字符 ...

NLP、Python 中的标记句子

[英]Tokenising Sentences in NLP, Python

我有一个包含“文本”列的数据集，其中包含 2851 个句子，我想将它们全部标记化以在 NLP 中实现词袋。我尝试使用 loc function 但没有用，有人能告诉我该怎么做吗？ ...

为 BERT 拆分数据集的长文档是否被认为是不好的做法？

[英]Is splitting a long document of a dataset for BERT considered bad practice?

我正在对标记数据集上的 BERT model 进行微调，其中许多文档的长度超过标记器设置的 512 个标记限制。由于截断会丢失大量我宁愿使用的数据，因此我开始寻找解决方法。但是我注意到，从未提及在 512 个标记（或其他启发式）之后简单地拆分文档并在数据集中创建具有相同 label 的新条目。 ...

Processing large text files in R（加速一个用于分隔句子的循环）

[英]Processing large text files in R (Speed up a loop for separating sentences)

我有大型文本文档（每个文档 150K 行；160 个文档）。然后我将它们作为大型 VCorpus 读入，并将它们转换为运行速度非常快的 dataframe。现在，我想将每个句子分隔成行，并删除那些不包含某个关键字的句子。然后我运行代码 R 崩溃。如果我尝试使用一个文档，代码会运行大约 10 ...

我如何检查含义的相似性，而不仅仅是两个具有 spacy 的文本之间的相同单词

[英]How can I check similarity in meaning and not just having same words between two texts with spacy

我正在尝试比较两个不同的文本。一个来自简历，另一个来自工作公告。清理文本后，我试图比较它们以检测公告是否更多地链接到特定的 CV 个人资料。我实际面临的问题是在这里使用 Spacy 的similarity = pdf_text.similarity(final_text_from_annonc ...

如何使用 python 从随机文本行中组合出正确表述的句子

[英]How to use python to assemble properly formulated sentences from random lines of text

假设我有一个包含 200,000 行诗歌的数据库，我想以生成语法正确且清晰易读的三行诗的方式随机组合这些诗行。有没有办法做到这一点？我目前正在尝试使用language_tool_python ，但它仅有助于一般拼写和一些格式建议。我正在寻找能够确保每首 3 行诗歌都能正确阅读并具有语法意义的东 ...

删除 R 中包含超过一定份额大写字母的行

[英]Removing rows that contain above a certain share of upper-case letters in R

我有一个很大的 dataframe，其中包含公司标识符和从报纸上提取的短语。它非常混乱，我想通过条件行删除来清理它。为此，我想删除超过 50% 大写字母的行。我从一篇文章中找到了这段代码，它将删除所有大写字母的行：如何将其表示为总字数或字母数的份额？ ...