Spark Dataframe - 为主表的每个单元格创建 12 行

Question

我有一个包含员工 ID 的表，我想为包含 12 个值（每个月 1 个）的月份添加一个附加列。 我想创建一个新表，其中列表中的每个 ID 有 12 行。

举个例子：

+-----+
|GFCID|
+-----+
|    1|
|    2|
|    3|
+-----+

+---------+
|Yearmonth|
+---------+
|   202101|
|   202102|
|   202203|
|   202204|
|   202205|
+---------+

我想要的 output 大概是这样的

ID      Month
1        Jan
1        Feb
1        March
2        jan
2        March

等等。 我正在使用 pyspark，我当前的语法如下：

data = [["1"], ["2"], ["3"]]
df = spark.createDataFrame(data, ["GFCID"])
df.show()

data2 = [["202101"], ["202102"], ["202203"], ["202204"], ["202205"]]
df2 = spark.createDataFrame(data2, ["Yearmonth"])
df2.show()

df3 = df.join(df2, df.GFCID == df2.Yearmonth, "outer")
df3.show()

而 output 是

+-----+---------+
|GFCID|Yearmonth|
+-----+---------+
| null|   202101|
|    3|     null|
| null|   202205|
| null|   202102|
| null|   202204|
|    1|     null|
| null|   202203|
|    2|     null|
+-----+---------+

我知道这是错误的，因为数据帧没有共同的密钥可以加入。 感谢您对此的帮助

Answer 1

这是使用正确的连接crossJoin修改的代码

data = [["1"], ["2"], ["3"]]
df = spark.createDataFrame(data, ["GFCID"])
df.show()

data2 = [["202101"], ["202102"], ["202203"], ["202204"], ["202205"]]
df2 = spark.createDataFrame(data2, ["Yearmonth"])
df2.show()

df3 = df.crossJoin(df2)
df3.show()

+-----+---------+
|GFCID|Yearmonth|
+-----+---------+
|    1|   202101|
|    1|   202102|
|    1|   202203|
|    1|   202204|
|    1|   202205|
|    2|   202101|
|    2|   202102|
|    2|   202203|
|    2|   202204|
|    2|   202205|
|    3|   202101|
|    3|   202102|
|    3|   202203|
|    3|   202204|
|    3|   202205|
+-----+---------+

---

另一种不使用连接的方法：

from pyspark.sql import functions as F

df2.withColumn("GFCID", F.explode(F.array([F.lit(i) for i in range(1, 13)]))).show()

+---------+-----+
|Yearmonth|GFCID|
+---------+-----+
|   202101|    1|
|   202101|    2|
|   202101|    3|
|   202101|    4|
|   202101|    5|
|   202101|    6|
|   202101|    7|
|   202101|    8|
|   202101|    9|
|   202101|   10|
|   202101|   11|
|   202101|   12|
|   202102|    1|
|   202102|    2|
|   202102|    3|
|   202102|    4|
...