Spark / Hive UDAF可按键获取不同的值

Question

在大数据处理中，通常希望在不更改现有查询结构（分组，子查询等）的情况下 “素描”组的摘要。 在Spark SQL（和HiveQL）中， collect_set是执行此操作的collect_set的示例。 它为每个组构建一​​个列的唯一值的数组。

我正在寻找一个UDAF，它为B列的每个唯一值构建A列的唯一值的映射。例如，给定

date user_id category revenue  
1/1  1       a        1  
1/1  2       b        0  
1/1  3       a        0  
1/2  2       b        10  
1/2  3       a        0  
1/2  4       b        1  

查询

select date, collect_set_by_key(category, user_id) as distinct_user_ids_by_category
from tbl
group by date
order by date

应该产生

date distinct_user_ids_by_category
1/1  {a: [1, 3], b: [2]}
1/2  {a: [3], b: [2, 4]}

Hive中的“收集到地图”要求相同的结果，但不需要通过单个UDAF来解决，而无需更改查询结构，这使该问题大为不同。

我的部署环境是Spark 2.1，因此Hive UDAF或本机Spark UDAF都可以很好地工作。 我已经使用Hive UDAF检查了Brickhouse，hivemall和其他一些库，但是没有找到执行此操作的函数。

Answer 1

Sim，我认为这样的UDAF存在于我的砖房分叉中，称为gather （ https://github.com/jeromebanks/brickhouse/blob/master/src/main/java/brickhouse/udf/collect/GatherUDAF.java ）但不适用于klout版本。 我对合并回klout存储库不是很好。 我认为如果看到多个记录，该列表可以包含重复项。

SELECT date, gather( category, user_id )
FROM tbl
GROUP BY date;

如另一个问题的链接中所述，也可以使用多个收集来完成，但我认为gather可能会更有效，并且使用gather会更容易一些。