使用Mahout进行朴素贝叶斯分类的情感分析

Question

我正在尝试用Mahout训练Naive Bayes分类器。

我不清楚的第一件事是训练数据的外观。 我的数据集包含一个观点，如果它是肯定的或否定的（1表示肯定，-1表示否定。）从我从《行动中的Mahout》一书中有关分类的章节中了解到，我已经像这样设置了训练数据：

 1   'Content of positive opinion'
-1   'Content of negative opinion'

我已经使用seqdirectory将这些数据转换为序列文件，并且正在使用以下命令训练分类器：

$MAHOUT_HOME/bin/mahout trainnb -i seq_data/chunk-0 -o bmodel -ow

输出此错误：

Exception in thread "main" java.io.FileNotFoundException: File temp/labelIndex does not exist.

通过trainnb接受的选项，我看到了--labelIndex选项。 我不确定这是做什么的，对此我可以使用一些说明。

然后我像这样运行命令（其中lindex是我创建的文件）：

$MAHOUT_HOME/bin/mahout trainnb -i seq_data/chunk-0 -o bmodel -ow -li lindex

输出此错误：

java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.mahout.math.VectorWritable
    at org.apache.mahout.classifier.naivebayes.training.IndexInstancesMapper.map(IndexInstancesMapper.java:29)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)

如果我的方法不正确，我想知道我在做什么。 我应该如何构造训练数据并运行命令？

Answer 1

这是有关什么是序列文件的Hadoop文档（ link ）

因此，从您的错误来看，trainnb步骤似乎期望使用VectorWritable而不是Text。

seqdirectory步骤似乎以Text（文本）形式生成数据。 我相信您必须在序列文件上运行seq2sparse命令以生成TF或TF-IDF加权向量。

该链接提供了有关如何进行文本分析的示例。 可能值得一看。