RapidMiner：如何有效地生成n-gram？

Question

就我的论文而言，我正在尝试使用带有文本挖掘扩展程序的RapidMiner Community Edition对更大（最大2GB）的文本文档（产品评论）文件进行情感分析。

我想为此生成二元组。 但是，对于一个甚至只有不到100.000个文档的70MB的小型csv文件，在8核32GB RAM机器（RapidMiner配置为使用28GB和所有核）上，生成bigrams已经花费了12个小时。

我已经能够使用过滤器将其减少到3个小时，并且具有二元组的缺点，而原始文档中不存在二元组。 我不确定，是否可以得到。

我当前的流程如下所示：

Read CSV > Process documents （ Tokenize -> Stem -> Filter stop words -> Filter length < 2 > Generate n-grams ）-> Split Validation

删除n-gram运算符会使精度和召回率降低到〜60％，这是远远不能接受的。 感谢您提供任何想法，以及如何加快这一步。

Answer 1

有时，使用运算符Materialize Data可能会有所作为。 将其放在文档处理之后和拆分运算符之前。

您还可以查看修剪以减少属性数量。 您将必须通过实验找到最佳参数。

另一个选择是将单词列表实现为“ Process Documents运算符的输入。 当然，这需要已知的单词列表，这可能不是解决您问题的合适方法。

处理文档时，还可以按内容过滤。 您只能包括那些包含下划线的标记。 这将保留2克及以上的字符，并删除unigram，因此将减少属性的数量。