Python sklearn：fit_transform（）不適用於GridSearchCV

Question

我正在創建一個GridSearchCV分類器

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])

parameters= {}

gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

這很好用，我可以預測。 但是，現在我想重新訓練分類器。 為此，我想在一些反饋數據上做一個fit_transform() 。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但是我得到了這個錯誤

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我想在分類器的內部TfidfVectorizer上嘗試fit_transform() 。 我知道我可以使用named_steps屬性訪問Pipeline的內部組件。 我可以為gridSearchClassifier做類似的gridSearchClassifier嗎？

Answer 1

只需逐步打電話給他們。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform是這兩行代碼，根本沒有實現為GridSearchCV的單一方法。

更新

從評論看來，你似乎有點迷失了GridSearchCV實際上做的事情。 這是一種適用於具有多個超參數的模型的元方法。 因此，一旦調用了fit ，就會在對象的best_estimator_字段中得到一個估算器。 在你的情況下 - 它是一個管道，你可以像往常一樣提取它的任何部分

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

你不應該使用gridsearchcv作為分類，這只是件超參數的方法，一旦你找到他們，你應該一起工作best_estimator_代替。 但是，請記住， 如果您重新安裝TFIDF矢量器，那么您的分類器將毫無用處 ; 你不能改變數據表示並期望舊模型運行良好，你必須在數據更改后重新整理分類器（除非這是經過精心設計的更改，並確保舊維度完全相同 - sklearn不支持此類操作，你必須從頭開始實現這一點。

Answer 2

@lejot是正確的，你應該在gridSearchClassifier上調用fit() 。

提供refit=True被設置在GridSearchCV ，這是默認的，你可以訪問best_estimator_上擬合gridSearchClassifier 。

您可以訪問已經安裝的步驟：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后，您可以使用以下方法在new_X轉換新文本：

X_vec = tfidf.transform(new_X)

您可以使用此X_vec進行預測：

x_pred = clf.predict(X_vec)

您還可以對通過管道整個管道的文本進行預測。

X_pred = gridSearchClassifier.predict(new_X)