最佳 pyspark ML 管道设置以减少运行时间

Question

我有一个有近 100 个模型的Pipeline ，像这样组装

from pyspark.ml.feature import VectorAssembler, MinMaxScaler
from pyspark.ml import Pipeline
from pyspark.ml.classification import LogisticRegression


assembler = VectorAssembler(inputCols=feat_cols, outputCol='features')
scaler = MinMaxScaler(inputCol='features', outputCol='features_scaled')
pca = PCA(k=25, inputCol='features_scaled', outputCol='pca_output')

transformer_pipe = Pipeline(stages=[assembler, scaler, pca])
transformer = transformer_pipe.fit(train)

train_transformed = transformer.transform(train)
test_transformed = transformer.transform(test)

models = []

for c in cols:
    
    models.append(LogisticRegression(
                        regParam=1., 
                        featuresCol='pca_output', 
                        labelCol= c, 
                        predictionCol=f'prediction_{c}',
                        rawPredictionCol=f'raw_prediction_{c}',
                        probabilityCol=f'probability_{c}',
                        weightCol=f'weight_{c}',
                        family='binomial'
                    )
                 )                
pipeline = Pipeline(stages=models)

此时我调用fit和transform方法来训练模型并得到我的预测

pipe = pipeline.fit(train_transformed)
preds = pipe.transform(test_transformed)

然而，在具有 100 多个内核（1 个主实例，最多 9 个内核实例，每个都设置有 64 个 vCPU 的自动扩展）的 EMR 集群上，看似简单的调用需要很长时间。

我遇到了OOM记忆并在笔记本调用中使用了session参数

%%configure -f
{"conf":{"spark.executor.memory":"12g",
         "spark.driver.memory":"12g",
         "spark.driver.cores":"3",
         "spark.driver.memoryOverhead":"2048",
         "spark.executor.cores":"3"}
}

在 session 开始之前，虽然它不再遇到 memory 问题，但端到端的过程仍然需要很长时间。 知道如何加快这个过程吗？ 提前致谢！