从scikit-learn列表GridSearchCV中每个折叠的准确性和均值

Question

我正在scikit-learn，Python3中的模型上进行网格搜索，带有两个参数集A和B。代码如下所示：

parameterA = ['a', 'b']
parameterB = np.array([10, 100])
param_grid = dict(parameterA=parameterA, parameterB=parameterB)
model = buildModel()
grid = GridSearchCV(model, param_grid, scoring="accuracy")
grid_result = grid.fit(X, Y)
for parameters, scores in grid_result.grid_scores_:
    print("Mean: " + scores.mean())
    print("Parameters: " + parameters)

• 我是否正确理解，score.mean（）是精度的平均值？
• 如何设置自己的评分功能？ 在文档中，它用“ scorer（estimator，X，y）”表示。 我从哪里得到X和y？ 他们不是交叉验证的培训和测试集吗？ 他们可以到达吗？
• 交叉验证的每一折是否都可以获得所有这些值？ 默认情况下，有k = 3倍，因此我希望每个参数组合的均值和准确性为三倍。

Answer 1

首先，您不应该再使用grid_scores_ ，因为在版本0.18中不推荐使用grid_scores_ ，而推荐使用cv_results_属性。 从0.20版本开始， grid_scores_属性将不可用。

---

问 ： 我是否正确理解，score.mean（）是精度的平均值？

答 ：属性cv_results_实际上返回您要查找的所有指标的字典。 检查一下： cv_result_ 。

---

问 ： 交叉验证的每一折能否获得所有这些值？ 默认情况下，有k = 3倍，因此我希望每个参数组合的均值和准确性为三倍。

答 ：是的，实际上您需要使用verbose属性。 verbose必须是整数，并且它控制详细程度：越高，消息越多。 例如，您可以设置verbose=3 。

---

问 ： 如何设置自己的计分功能？

答 ：定义损失函数后，请使用make_scorer 。 您的损失函数必须具有以下签名： score_func(y, y_pred, **kwargs) 。 基本损失函数可以是分类良好的样本与总样本数的比率（您可以想象任何种类的指标，可以使您对分类器的效果有所了解）。

您会这​​样：

def my_loss_func(y, y_pred):
    return np.sum(y == y_pred)/float(len(y_pred))

my_scorer = make_scorer(my_loss_func, greater_is_better=True)

然后，您可以在GridSearch中使用您的计scorer 。