如何仅执行 scikit-learn 管道的特定部分？

Question

以下是与问题相关的部分代码。 如果需要完整代码，这里有一个完整的可复制代码，也可以下载数据： https://github.com/ageron/handson-ml2/blob/master/02_end_to_end_machine_learning_project.ipynb

我有一个管道：

prepare_select_and_predict_pipeline = Pipeline([
    ('preparation', full_pipeline),
    ('feature_selection', TopFeatureSelector(feature_importances, k)),
    ('svm_reg', SVR(**rnd_search.best_params_))
])

现在，我只想从上面的管道中执行这一部分：

('preparation', full_pipeline),
('feature_selection', TopFeatureSelector(feature_importances, k)),

我尝试了prepare_select_and_predict_pipeline.fit(housing, housing_labels) ，但它也执行了 SVM 部分。

最后，当我执行以下代码时，我需要从上述管道中获得相同的结果：

preparation_and_feature_selection_pipeline = Pipeline([
    ('preparation', full_pipeline),
    ('feature_selection', TopFeatureSelector(feature_importances, k))
])

housing_prepared_top_k_features = preparation_and_feature_selection_pipeline.fit_transform(housing)

我怎么能这样做？

Answer 1

您可以像列表一样切片管道（版本> = 0.21），所以

prepare_select_and_predict_pipeline[:-1].fit_transform(housing)

应该管用。

（您需要在这里小心；您正在改装管道的转换器部分，因此在新数据集上执行此操作，然后是prepare_select_and_predict_pipeline.predict(X_new)将使用改装后的转换器！如果需要，您可以clone到新变量。 )

Answer 2

FeatureUnion可以解决问题：

from sklearn.pipeline import FeatureUnion, Pipeline

prepare_select_pipeline = Pipeline([
    ('preparation', full_pipeline),
    ('feature_selection', TopFeatureSelector(feature_importances, k))
])

feats = FeatureUnion([('prepare_and_select', prepare_select_pipeline)])

prepare_select_and_predict_pipeline = Pipeline([('feats', feats),
                               ('svm_reg', SVR(**rnd_search.best_params_))])

您可以在深入了解 Sklearn 管道中找到有关此的更多信息