PySpark- OneHotEncoding

Question

这可能很幼稚，但我只是从PySpark和Spark入手。 请帮助我了解Pyspark中的一种热门技术。 我正在尝试对其中一列进行OneHotEncoding。 进行一次热编码后，数据帧架构将添加一个向量。 但是要应用机器学习算法，那应该是将单个列添加到现有数据框中，每个列代表一个类别，但不代表矢量类型列。 如何验证OneHotEncoding。

我的代码：

    stringIndexer = StringIndexer(inputCol="business_type", outputCol="business_type_Index")
    model = stringIndexer.fit(df)
    indexed = model.transform(df)
    encoder = OneHotEncoder(dropLast=False, inputCol="business_type_Index", outputCol="business_type_Vec")
    encoded = encoder.transform(indexed)
    encoded.select("business_type_Vec").show()

此显示：

+-----------------+
|business_type_Vec|
+-----------------+
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
|    (2,[0],[1.0])|
+-----------------+
only showing top 20 rows

新添加的列是向量类型。 如何将其转换为每个类别的各个列

Answer 1

您可能已经有了答案，但也许会对其他人有所帮助。 对于矢量分割，您可以使用以下答案（我已经检查了它的工作原理）：

如何将密集的矢量拆分为列-使用pyspark

但是我认为您不需要将向量转换回列（如mtoto已经说过的），因为spark中的所有模型实际上都要求您提供向量格式的输入功能（如果我错了，请纠正我）。