pyspark中的一键编码，其中连续有多个1

Question

我有一个Python数据final_df ，如下所示：

这些行具有重复的ID值。 如何使用pyspark获得如下所示的一键编码输出？

我已经将其转换为spark数据框：

spark_df = sqlContext.createDataFrame(final_df)

然后在CONCEPTS列中收集唯一值，如下所示：

types = spark_df.select("CONCEPTS").distinct().rdd.flatMap(lambda x: x).collect()

但是，当我致电以下内容时：

types_expr = [F.when((F.col("CONCEPTS") == ty), 1).otherwise(0).alias(ty) for ty in types]
df = spark_df.select("ID", *types_expr)
df.show()

我得到以下信息：

与此类似的其他问题的解决方案则不会连续产生多个1。

Answer 1

您只能使用1和0来使用GroupedData类的支点函数。 示例代码：

l =[( 115        ,'A' ),
( 116        , 'B' ),
( 118        , 'C' ),
( 121        , 'D' ),
( 125        , 'E' ),
( 127        , 'F' ),
( 127        , 'G' ),
( 127        , 'H' ),
( 136        , 'I' ),
( 136        , 'J' )]

df = spark.createDataFrame(l, ['id','concepts'])
df.groupBy('id').pivot('concepts').count().show()

将导致以下数据框：

+---+----+----+----+----+----+----+----+----+----+----+   
| id|   A|   B|   C|   D|   E|   F|   G|   H|   I|   J| 
+---+----+----+----+----+----+----+----+----+----+----+ 
|136|null|null|null|null|null|null|null|null|   1|   1| 
|116|null|   1|null|null|null|null|null|null|null|null| 
|115|   1|null|null|null|null|null|null|null|null|null| 
|127|null|null|null|null|null|   1|   1|   1|null|null| 
|118|null|null|   1|null|null|null|null|null|null|null| 
|125|null|null|null|null|   1|null|null|null|null|null| 
|121|null|null|null|   1|null|null|null|null|null|null| 
+---+----+----+----+----+----+----+----+----+----+----+

如果需要，将空值替换为fill -function。

---

评论中有人问如何用熊猫来做到这一点。 基本上是相同的方法，但所需的功能是ivot_table 。

import pandas as pd
import numpy as np

l =[( 115        ,'A' ),
( 116        , 'B' ),
( 118        , 'C' ),
( 121        , 'D' ),
( 125        , 'E' ),
( 127        , 'F' ),
( 127        , 'G' ),
( 127        , 'H' ),
( 136        , 'I' ),
( 136        , 'J' )]

df = pd.DataFrame(l,columns=['id','concepts'] )
df.pivot_table(index='id', columns='concepts', aggfunc=len)

输出：

concepts    A    B    C    D    E    F    G    H    I    J
id                                                        
115       1.0  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN
116       NaN  1.0  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN
118       NaN  NaN  1.0  NaN  NaN  NaN  NaN  NaN  NaN  NaN
121       NaN  NaN  NaN  1.0  NaN  NaN  NaN  NaN  NaN  NaN
125       NaN  NaN  NaN  NaN  1.0  NaN  NaN  NaN  NaN  NaN
127       NaN  NaN  NaN  NaN  NaN  1.0  1.0  1.0  NaN  NaN
136       NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN  1.0  1.0