如何在 scikit-learn 或 Neuraxle 中并行运行 2 个管道？

Question

我想用neuraxle创建一个简单的管道（我知道我可以使用其他库，但我想使用neuraxle ），我想在其中清理数据、拆分数据、训练 2 个模型并进行比较。

我希望我的管道做这样的事情：

p = Pipeline([
    PreprocessData(),
    SplitData(),
    (some magic to start the training of both models with the split of the previous step)
    ("model1", model1(params))
    ("model2", model2(params))
    (evaluate)
])

我不知道这是否可能，因为我在文档中找不到任何内容。

此外，我尝试使用sklearn模型以外的其他模型（例如catboost 、 xgboost ...），但出现错误

AttributeError: 'CatBoostRegressor' 对象没有属性 'setup'

我想为模型创建一个类，但我不会使用neuraxle的超参数搜索

Answer 1

是的！ 你可以这样做：

p = Pipeline([
    PreprocessData(),
    ColumnTransformer([
        (0, model1(params)),  # Model 1 will receive Column 0 of data
        ([1, 2], model2(params)),  # Model 2 will receive Column 1 and 2 of data
    ], n_dimension=2, n_jobs=2),
    (evaluate)
])

数据流将分为两部分。

n_jobs=2应该创建两个线程。 也可以通过自定义类使用joiner参数将数据放回一起。 我们将很快发布一些更改，因此这应该可以正常工作。 目前，管道使用 1 个线程。

对于类似于 sklearn 但不是来自 sklearn 的CatBoostRegressor模型，您CatBoostRegressor可以尝试在管道中声明模型时使用SKLearnWrapper(model1(params))而不是简单的model1(params) ？ 即使您的对象具有与 scikit-learn 的 BaseEstimator 相同的 API，Neuraxle 也可能无法将模型识别为 scikit-learn 模型（它是 scikit-learn 中的 BaseEstimator 对象）。 因此，您可能需要在模型周围手动使用SKLearnWrapper或者编写您自己的类似包装器以使您的类适应 Neuraxle。

相关： https : //stackoverflow.com/a/60302366/2476920

---

编辑：

您可以使用 Neuraxle 的ParallelQueuedFeatureUnion类。 示例即将推出。

另请参阅此并行管道使用示例： https : //www.neuraxle.org/stable/examples/parallel/plot_streaming_pipeline.html#sphx-glr-examples-parallel-plot-streaming-pipeline-py