Python sklearn：fit_transform（）不适用于GridSearchCV

Question

我正在创建一个GridSearchCV分类器

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])

parameters= {}

gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

这很好用，我可以预测。 但是，现在我想重新训练分类器。 为此，我想在一些反馈数据上做一个fit_transform() 。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但是我得到了这个错误

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我想在分类器的内部TfidfVectorizer上尝试fit_transform() 。 我知道我可以使用named_steps属性访问Pipeline的内部组件。 我可以为gridSearchClassifier做类似的gridSearchClassifier吗？

Answer 1

只需逐步打电话给他们。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform是这两行代码，根本没有实现为GridSearchCV的单一方法。

更新

从评论看来，你似乎有点迷失了GridSearchCV实际上做的事情。 这是一种适用于具有多个超参数的模型的元方法。 因此，一旦调用了fit ，就会在对象的best_estimator_字段中得到一个估算器。 在你的情况下 - 它是一个管道，你可以像往常一样提取它的任何部分

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

你不应该使用gridsearchcv作为分类，这只是件超参数的方法，一旦你找到他们，你应该一起工作best_estimator_代替。 但是，请记住， 如果您重新安装TFIDF矢量器，那么您的分类器将毫无用处 ; 你不能改变数据表示并期望旧模型运行良好，你必须在数据更改后重新整理分类器（除非这是经过精心设计的更改，并确保旧维度完全相同 - sklearn不支持此类操作，你必须从头开始实现这一点。

Answer 2

@lejot是正确的，你应该在gridSearchClassifier上调用fit() 。

提供refit=True被设置在GridSearchCV ，这是默认的，你可以访问best_estimator_上拟合gridSearchClassifier 。

您可以访问已经安装的步骤：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后，您可以使用以下方法在new_X转换新文本：

X_vec = tfidf.transform(new_X)

您可以使用此X_vec进行预测：

x_pred = clf.predict(X_vec)

您还可以对通过管道整个管道的文本进行预测。

X_pred = gridSearchClassifier.predict(new_X)