如何使用Scala添加备注列

Question

我有如下dataFrame ，并想使用Scala添加备注

id    val  visits 
111   2        1
111   2        1
112   4        2
112   5        4
113   6        1

预期输出应低于

id    val    visits   remarks
111   2        1      Ramdom
111   2        1      Ramdom
112   4        2      Less visit
112   5        4      More visit
113   6        1      One visit

备注应为：
Ramdom for Id拥有两条具有相同价值和访问次数的记录
ID的一次访问只有一个记录，其中包含任何访问次数
Id的减访问有两个记录用更少的访问相比其他
“ Id的更多访问次数 ”具有多个具有不同价值和访问次数的记录。

Answer 1

可能不是最好的解决方案，但这是一个可行的解决方案：

首先将您的dataFrame按val和visits及其计数进行分组

val grouped = df.groupBy("id").agg(max($"val").as("maxVal"), max($"visits").as("maxVisits"), min($"val").as("minVal"), min($"visits").as("minVisits"), count($"id").as("count"))

然后定义一个实现您的逻辑的UDF ：

val remarks = functions.udf ((value: Int, visits: Int, maxValue: Int, maxVisits: Int, minValue: Int, minVisits: Int, count: Int) =>
   if (count == 1) {
     "One Visit"
   }else if (value == maxValue && value == minValue && visits == maxVisits && visits == minVisits) {
     "Random"
   }else {
     if (visits < maxVisits) {
       "Less Visits"
     }else {
       "More Visits"
     }
   }
 )

然后将原始dataFrame和按id分组的一组加入，并用UDF添加所需的列。 最后，从输出中删除不需要的列：

 df.join(grouped, Seq("id"))
   .withColumn("remarks", remarks($"val", $"visits", $"maxVal", $"maxVisits", $"minVal", $"minVisits", $"count"))
   .drop("maxVal","maxVisits", "minVal", "minVisits", "count")

输出：

+---+----+-------+-----------+
| id| val| visits|    remarks|
+---+----+-------+-----------+
|112|   4|      2|Less Visits|
|112|   5|      4|More Visits|
|113|   6|      1|  One Visit|
|111|   2|      1|     Random|
|111|   2|      1|     Random|
+---+----+-------+-----------+

PS记得导入功能

import org.apache.spark.sql.functions