Databricks - 如何加入包含在结构类型列中的 ID 的表<array<string> &gt;

Question

我目前有 JSON 文件，我可以从中将其数据转储到临时视图中。 遵循 Python (PySpark) 逻辑：

 departMentData = spark \
                .read \
                .option("multiLine", True) \
                .option("mode", "PERMISSIVE") \
                .json("C:\\Test\data.json") \
                .createOrReplaceTempView("vw_TestView")

这个临时视图在数组中包含部门的数据和该部门内的员工列表。 一名员工可以隶属于多个部门。

以下是此视图的数据类型：

• 部门 ID：字符串
• 部门名称：字符串
• 员工 ID：数组<字符串。>

vw_TestView的表数据如下

部门ID	部门名称	员工 ID
D01	开发	[“U1234”、“U6789”]
D02	质量保证	[“U1234”、“U2345”]

另一个表Employees包含所有这些员工的详细信息，如下所示：

EmpID	员工姓名
U1234	乔恩
U6789	史密斯
U2345	娜塔莎

我需要新表的最终输出如下：

部门ID	部门名称	员工 ID	员工姓名
D01	开发	[“U1234”、“U6789”]	[“乔恩”，“史密斯”]
D02	质量保证	[“U1234”、“U2345”]	[“乔恩”，“娜塔莎”]

如何在 Databricks SQL 或 PySPark 中执行此类连接？

Answer 1

您可以尝试以下使用explode将Employee Id 列表拆分为不同行，然后再加入它们并使用collect_list将条目聚合到列表中的方法。

使用火花SQL：

注意。 确保Employees可用作表/视图，例如EmployeeData.createOrReplaceTempView("Employees")

WITH dept_employees AS (
    SELECT
        DeptId,
        DeptName,
        explode(EmployeeIDs)
    FROM
        vw_TestView
)
SELECT
    d.DeptId,
    d.DeptName,
    collect_list(e.EmpID) as EmployeeIDs,
    collect_list(e.EmpName) as EmployeeNames
FROM
    dept_employees d
INNER JOIN
    Employees e ON d.col=e.EmpID
GROUP BY
    d.Deptid,
    d.DeptName

或使用 pyspark api：

from pyspark.sql import functions as F

output_df = (
    departMentData.select(
        F.col("DeptId"),
        F.col("DeptName"),
        F.explode("EmployeeIDs")
    )
    .alias("d")
    .join(
        EmployeeData.alias("e"),
        F.col("d.col")==F.col("e.EmpID"),
        "inner"
    )
    .groupBy("d.DeptId","d.DeptName")
    .agg(
        F.collect_list("e.EmpID").alias("EmployeeIDs"),
        F.collect_list("e.EmpName").alias("EmployeeNames")
    )
)

让我知道这是否适合您。