VectorAssembler和管道转换功能可在独立Spark上运行，但不能在Spark集群上运行

Question

问题：当前，我们正在尝试在顶部火花簇上开发模型，以便我们可以从速度方面看到火花的力量。 我们使用pyspark在独立的spark上运行了模型，并且运行良好，但是随后我们尝试在spark集群上运行我们的模型，但是在使用转换功能的那一刻失败了。

代码段：

试用1：

categoricalColumns = ['frequency', 'type_disp', 'type_card']
for categoricalCol in categoricalColumns:
    stringIndexer = StringIndexer(inputCol = categoricalCol, outputCol = categoricalCol + 'Index')
    encoder = OneHotEncoderEstimator(inputCols=[stringIndexer.getOutputCol()], outputCols=[categoricalCol + "classVec"])
    stages += [stringIndexer, encoder]

label_stringIdx = StringIndexer(inputCol = 'response', outputCol = 'label')
stages += [label_stringIdx]
numericCols = ['date_acct_', 'date_loan_', 'amount', 'duration', 'payments', 'birth_number_', 'min1', 'max1', 'mean1', 'min2', 'max2', 'mean2', 'min3', 'max3', 'mean3', 'min4', 'max4', 'mean4', 'gen', 'has_card']
assemblerInputs = [c + "classVec" for c in categoricalColumns] + numericCols
assembler = VectorAssembler(inputCols=assemblerInputs, outputCol="feature")
stages += [assembler]
pipeline = Pipeline(stages = stages)
pipelineModel = pipeline.fit(features)
features = pipelineModel.transform(features)
features.show(n=2)
selectedCols = ['label', 'feature'] + cols
features = features.select(selectedCols)
print(features.dtypes)

上面的代码因以下错误而失败：

Traceback (most recent call last):
  File "spark_model.py", line 271, in <module>
    features = pipelineModel.transform(features)
  File "/usr/local/lib/python3.6/site-packages/pyspark/ml/base.py", line 173, in transform
    return self._transform(dataset)

py4j.protocol.Py4JJavaError: An error occurred while calling o721.getParam.
: java.util.NoSuchElementException: Param handleInvalid does not exist.

试用2：

numericCols = ['date_acct_', 'date_loan_', 'amount', 'duration', 'payments', 'birth_number_', 'min1', 'max1', 'mean1', 'min2', 'max2', 'mean2', 'min3', 'max3', 'mean3', 'min4', 'max4', 'mean4', 'gen', 'has_card', 'frequency_monthly_issuance', 'frequency_issuance_after_transaction', 'frequency_weekly_issuance', 'type_disp_disponent', 'type_disp_owner', 'type_card_gold', 'type_card_classic', 'type_card_junior']
assembler = VectorAssembler(inputCols=numericCols, outputCol='features')
print(assembler)
feature_df = assembler.transform(df_features)

label_stringIdx = StringIndexer(inputCol = 'response', outputCol = 'label')
label_df = label_stringIdx.fit(feature_df).transform(feature_df)

上面的代码失败，并出现以下错误：

Traceback (most recent call last):
  File "spark_model_exp_.py", line 275, in <module>
    feature_df = assembler.transform(features)
  File "/usr/local/lib/python3.6/site-packages/pyspark/ml/base.py", line 173, in transform
    return self._transform(dataset)
py4j.protocol.Py4JJavaError: An error occurred while calling o1072.getParam.
: java.util.NoSuchElementException: Param handleInvalid does not exist.

这些代码如何在独立的spark上运行，但不能在spark集群上运行？

请让我知道，以防我们不得不在此处提供更多详细信息。 我们可以通过其他方法实现这一目标吗？还是我们在这里遗漏了一些东西？

我们使用的是Python3 ， Spark版本为：2.3 （spark-2.3.2.3.1.4.0-315）