使用 pyspark 连接三个数据帧

Question

我有三个数据框：

df1:                         df2:                           df3:
+--- +--------+               +--------+-------+             +----+----------+
| id1|category|               |category| values|             | id2|    values|
+----+--------+               +--------+-------+             +----+----------+ 
|   0|       C|               |       A|     v1|             |   0|    v2, v3|
|   1|       B|               |       A|     v2|             |   1|        v1|
|   2|       C|               |       A|     v3|             |   2|    v1, v3|
|   3|       A|               |       B|     v4|             |   3|v1, V2, v3|
|   4|       A|               |       B|     v5|             |   4|        v3|
|   5|       B|               |       B|     v6|             |   5|    v1, v2|
|   6|       C|               |       B|     v7|             |   6|        v3|
|   7|       A|               |       C|     v8|             +----+----------+
|   8|       B|               |       C|     v9|
|   9|       B|               |       C|    v10|
+----+--------+               |       C|    v11|
                              +--------+-------+ 

通过指令在 df1 和 df3 之间进行交叉连接后：

df=df1.crossJoin(df3.select("id2")).select("id1", "id2")

我想添加一个新列（ newCloumn ），必须像这样填写：如果类别列包含值列中的至少一个值，则为1 ，否则为0

Answer 1

如果您还重命名两个数据框中的列“类别”（例如：类别 1 和类别 2），这将更实用。 试试这个，我想这就是你要找的

df=df.select(col("id1").alias("id"), "id2")
df4=df.join(df1, df.id==df1.id1).drop("id").join(df2, df4.category1==df2.category2)