PySpark：OneHotEncoder的输出看起来很奇怪[重复]

Question

这个问题已经在这里有了答案：

• Spark ML VectorAssembler返回奇怪的输出 1个答案

Spark文档包含其OneHotEncoder 的PySpark示例 ：

from pyspark.ml.feature import OneHotEncoder, StringIndexer

df = spark.createDataFrame([
    (0, "a"),
    (1, "b"),
    (2, "c"),
    (3, "a"),
    (4, "a"),
    (5, "c")
], ["id", "category"])

stringIndexer = StringIndexer(inputCol="category", outputCol="categoryIndex")
model = stringIndexer.fit(df)
indexed = model.transform(df)

encoder = OneHotEncoder(inputCol="categoryIndex", outputCol="categoryVec")
encoded = encoder.transform(indexed)
encoded.show()

我期望列categoryVec看起来像这样：

[0.0, 0.0]
[1.0, 0.0]
[0.0, 1.0]
[0.0, 0.0]
[0.0, 0.0]
[0.0, 1.0]

但是categoryVec实际上看起来像这样：

(2, [0], [1.0])
    (2, [], [])
(2, [1], [1.0])
(2, [0], [1.0])
(2, [0], [1.0])
(2, [1], [1.0])    

这是什么意思？ 我应该如何阅读此输出，这种奇怪的格式背后的原因是什么？

Answer 1

这里没什么奇怪的。 这些只是SparseVectors ，其中：

• 第一个元素是向量的大小
• 第一个数组[...]是指数列表。
• 第二个数组是值列表。

未明确列出的索引为0.0。