Output 列与管道 PySpark 配合时已存在错误

Question

我正在尝试在 PySpark 中创建一个管道，以便为随机森林准备我的数据。 我正在使用Spark 2.2 (2.2.0.2.6.4.0-91)。

我的数据不包含 null 值。 我确定了分类列和数值列。

我正在编码分类列并定义我的 label ( options['vae'] )。 然后我使用 VectorAssembler 为我的特征获取单个向量列。

在管道中，经过拟合和转换后，我应该得到一个带有 label 列和特征（向量）列的火花 dataframe。

不幸的是，在安装 Spark 时出现此错误：

回溯（最近一次通话最后）：
文件“/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/sql/utils.py”，第 63 行，在 deco
文件“/usr/hdp/current/spark2-client/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py”，第 319 行，在 get_return_value
py4j.protocol.Py4JJavaError: 调用 o4563.fit 时出错。 ： java.lang.IllegalArgumentException：要求失败：Output 列 T_Q_DAV_indexed 已存在。 *

我在其他任何地方都没有发现这种类型的错误。 所以我在这里寻求帮助。

这是我的管道代码：

print("One Hot Encoding...")
stringIndexer  = [StringIndexer(inputCol=col, outputCol=col + "_indexed").setHandleInvalid("keep") for col in categoricalColumns]
encoders = [OneHotEncoder(dropLast=True, inputCol=col + '_indexed', outputCol=col+ "_class") for col in categoricalColumns]
label_stringIdx = StringIndexer(inputCol = options['vae'], outputCol = 'label')

print("Vectorizing...")
assembler = VectorAssembler(inputCols=[col+ "_class" for col in categoricalColumns] + numericCols, outputCol="features")

print("Pipeline...")
pipeline = Pipeline(stages = stringIndexer + encoders + [label_stringIdx] + [assembler])
    
print('Fit...')
pipelineModel = pipeline.fit(s_df)
    
print('Transform...')
s_df = pipelineModel.transform(s_df)
    
selectedCols = ['label', 'features'] + cols
s_df = s_df.select(selectedCols)

Answer 1

我也有同样的问题。

解决方案是消除列 T_Q_DAV_indexed

• 在 categoricalColumns 中（只有 T_Q_DAV）或
• 在 s_df 中（我有以下列：T_Q_DAV、T_Q_DAV_indexed 和 T_Q_DAV_class）？

（我使用了最初问题的名称）