OneHotEncoding：在一个 dataframe 中工作，在非常非常相似的 dataframe (pyspark) 中工作

Question

我将 OneHotEncoding function 应用于两个非常相似的数据帧。 第一个dataframe如下：

当我应用一种热编码时，一切正常：

但是，当我将完全相同的 function 应用于这个不同但非常相似的 dataframe 时：

出现以下错误：

我不明白为什么会发生这种情况，因为 dataframe 1 和 2 都是从以前的 dataframe 中提取的（它们作为机器学习应用程序的训练和测试 df）。 两者都是 pyspark.sql 数据帧。 谁能帮我？

Answer 1

正如错误所说，您无法对包含None和整数的列表进行排序。 您的列中可能有一个null ，这会导致行categories.sort()崩溃。

如果您想使用 Spark 进行 ML，我建议您使用 pyspark.ml package，而不是编写自己的 one-hot 编码器。 例如，请参见此处。