在Scikit-Learn中对保存的模型测试未知数据时，如何获得预测准确性？

Question

我有一个为二进制分类训练的模型，现在我想用它来预测未知的类元素。

     from sklearn.externals import joblib
     model = joblib.load('../model/randomForestModel.pkl')
     test_data = df_test.values # df_test is a dataframe with my test data
     output = model.predict(test_data[:,1:]) # this outputs the prediction either 1 or 0

我知道在给定训练数据集的情况下如何获取confusion_matrix，precision_score，classification_report，但是在这种情况下，我没有训练数据。 我想从weka那里得到类似的东西：

       inst#     actual  predicted error prediction
           1        1:?        1:0       0.757 

在Scikit-learn中有可能吗？ 如果是这样，我该怎么办？

Answer 1

是的，那完全有可能。

1）尝试评估训练的模型时，应使用测试集。 您没有用来训练的数据的子集，用于评估模型预测新值的能力。 有了此测试集，您便拥有了真正的价值，因此您可以比较预测结果。 您可以简单地使用train_test_split包或cross_validation。

2）Scikit-learn提供了不同的指标以评估模型。 再一次，您应该在测试集而不是训练集上使用此指标。 这可能会导致假的好结果。

我看不出您为什么不了解培训内容的任何原因。 但是，您也可以使用模型的_score方法，您可以将其参数化为期望值（F1得分，召回率，精度）。

在Weka中，我看不到错误预测是什么。 你可以解释吗 ？