如何在行动中使用Mahout分类器？

Question

我想使用Apache Mahout和朴素的贝叶斯分类器对一堆文档进行分类。 我进行了所有预处理，然后将训练数据集转换为特征向量，然后训练分类器。 现在，我想将一堆新实例（将要分类的实例）传递给我的模型以对其进行分类。

但是，我的印象是必须对要分类的实例和训练数据集一起进行预处理？ 如果是这样，在构建模型时没有待分类实例的现实世界场景中，如何使用分类器？

Apache Spark呢？ 那里的东西怎么样？ 我可以建立分类模型，并在以后使用该模型对看不见的实例进行分类吗？

Answer 1

从Mahout 0.10.0开始，Mahout提供了Spark支持的Naive Bayes实现，可以从CLI，Mahout Shell运行或嵌入到应用程序中：

http://mahout.apache.org/users/algorithms/spark-naive-bayes.html

关于培训/测试集以外的新文档的分类，此处有一个教程：

http://mahout.apache.org/users/environment/classify-a-doc-from-the-shell.html

其中说明了如何使用字典和训练/测试集中的df计数来标记化（使用Trival Java本机String方法），对看不见的文本进行矢量化和分类。

请注意，本教程应在Mahout-Samsara Environment的spark-shell中使用，但是基本思想可以修改并嵌入到应用程序中。