WEKA中的神经网络

Question

我有一个已分类的文本数据集。 我有7个可用的课程。

我使用（Waikato知识分析环境）WEKA来构建模型。 同时，我还训练和测试了3种不同的算法，以确定哪种算法最适合我的数据集。

我尝试了Naive Bayes，J48和神经网络（SMO），它们在WEKA的机器学习环境中都可用。

在训练和测试过程中，发现以下三种算法在准确性方面的排名：

1. 神经网络-98％
2. 朴素贝叶斯-90％
3. J48-85％

根据以上结果，我决定使用神经网络并构建模型。 我用JAVA创建了一个应用程序，并加载了从WEKA构建的神经网络模型。

但是，我的问题是，该模型无法正确预测新数据。 我有点困惑，因为在培训和测试期间我获得了很高的准确度，但是在部署期间，准确率仅为40％。

我尝试在C＃中执行此操作，并获得了相同的结果。 以下是我使用的示例代码。

   Instances test = null; 
   DataSource source = new DataSource("C:\\Users\\Ian\\Desktop\\FINAL\\testdataset.arff");
   test = source.getDataSet();
   test.setClassIndex(1); 

   FilteredClassifier cl1 = (FilteredClassifier) weka.core.SerializationHelper.read("C:\\FINAL\\NeuralNetworks.model");        
   Evaluation evaluation = new Evaluation(test);      
   evaluation.evaluateModel(cl1,test);
   System.out.println("Results:" + evaluation.toSummaryString());   


    for (int i = 0; i < test.numInstances(); i++) {
        String trueClassLabel = test.instance(i).toString(test.classIndex());
        double predictionIndex =cl1.classifyInstance(test.instance(i));

        String predictedClassLabel;
        predictedClassLabel = test.classAttribute().value((int) predictionIndex );
        System.out.println((i+1) + "\t" + trueClassLabel + "\t" + predictedClassLabel);
    }

有什么建议你认为我做错了什么？

Answer 1

在评论中我们简短地聊天之后，对我来说，很明显，您对训练数据的拟合过度。 这很可能是由于神经网络架构过于强大而无法解决您要解决的问题。 可以证明，任何功能都可以由具有足够自由度的神经网络来表示。 NN并没有找到一个通用的解决方案，而是在训练过程中记住了训练数据，从而获得了近乎完美的准确性。 但是，一旦它必须处理新数据，就不能很好地完成它，因为它找不到合适的泛化规则。 为了解决此问题，您必须降低NN的自由度。 这可以通过减少层数和每层中的节点数来实现。 尝试从只有1个或2个具有很少节点的隐藏层开始。 然后，继续增加节点和层，直到达到最佳性能。

重要提示：始终使用独立的测试集来衡量性能，而不要使用训练模型时所使用的相同数据。

您可以在此处找到有关此问题的其他提示