获取火花数据帧中 ArrayType 列的不同元素

Question

我有一个包含 3 列的数据框，名为id 、 feat1和feat2 。 feat1和feat2是字符串数组的形式：

Id, feat1,feat2
------------------
1, ["feat1_1","feat1_2","feat1_3"],[] 

2, ["feat1_2"],["feat2_1","feat2_2"]

3,["feat1_4"],["feat2_3"]

我想获取每个特征列中不同元素的列表，因此输出将是：

distinct_feat1,distinct_feat2
-----------------------------  
["feat1_1","feat1_2","feat1_3","feat1_4"],["feat2_1","feat2_2","feat2_3]

在 Scala 中执行此操作的最佳方法是什么？

Answer 1

在每列上应用explode函数以取消每个单元格中的数组元素后，可以使用collect_set查找相应列的不同值。 假设您的数据框名为df ：

import org.apache.spark.sql.functions._

val distinct_df = df.withColumn("feat1", explode(col("feat1"))).
                     withColumn("feat2", explode(col("feat2"))).
                     agg(collect_set("feat1").alias("distinct_feat1"), 
                         collect_set("feat2").alias("distinct_feat2"))

distinct_df.show
+--------------------+--------------------+
|      distinct_feat1|      distinct_feat2|
+--------------------+--------------------+
|[feat1_1, feat1_2...|[, feat2_1, feat2...|
+--------------------+--------------------+


distinct_df.take(1)
res23: Array[org.apache.spark.sql.Row] = Array([WrappedArray(feat1_1, feat1_2, feat1_3, feat1_4),
                                                WrappedArray(, feat2_1, feat2_2, feat2_3)])

Answer 2

Psidom提供的方法效果很好，这是一个函数，在给定Dataframe和字段列表的情况下也是如此：

def array_unique_values(df, fields):
    from pyspark.sql.functions import col, collect_set, explode
    from functools import reduce
    data = reduce(lambda d, f: d.withColumn(f, explode(col(f))), fields, df)
    return data.agg(*[collect_set(f).alias(f + '_distinct') for f in fields])

然后：

data = array_unique_values(df, my_fields)
data.take(1)

Answer 3

spark 2.4+ 的另一种解决方案

.withColumn("distinct", array_distinct(concat($"array_col1", $"array_col2")))

请注意，如果其中一列为空，则结果将为空