在同一列中用另一组基于其他列组的组覆盖一组值

Question

输入：

Name   GroupId Processed   NewGroupId  NgId
Mike   1          N         9          NULL
Mikes  1          N         9          NULL 
Miken  5          Y         9          5
Mikel  5          Y         9          5

Output:

Name   GroupId Processed   NewGroupId  NgId
Mike   1          N         9          5
Mikes  1          N         9          5
Miken  5          Y         9          5
Mikel  5          Y         9          5

下面的查询在 sql 服务器中工作，由于相关的子查询在 spark sql 中不起作用。是否有 spark sql 或 pyspark dataframe 的替代方案。

SELECT Name,groupid,IsProcessed,ngid, CASE WHEN WHEN IS NULL THEN COALESCE((SELECT top 1 ngid FROM temp D WHERE D.NewGroupId = T.NewGroupId AND D.ngid IS NOT NULL), null) ELSE ngid END AS ngid FROM温度 T

Answer 1

在 sparksql 中使用以下。

spark.sql("select LKUP,groupid,IsProcessed,NewGroupId,coalesce((select Max(D.ngid) from test2 D where D.NewGroupId = T.NewGroupId AND D.ngidis not null),null) as ngid from test2 T ")