逐行比较两个具有相同架构的数据帧

Question

我需要在火花数据帧中逐行比较两个表（即数据帧），并为特定列获取具有较小值的每一行。 例如：

假设我想让每位学生的成绩都较低的每一行，因此我想要这个结果：

我本来想先用id作为join属性来连接两个数据框，但是我的原始表很大并且具有更多的属性。 似乎无需连接即可实现。 我能找到的最接近的问题是这个，但我不知道如何将其应用于我的案子。

带有join的Btw解决方案也很可观，我只是在想是否有更好的解决方案。

Answer 1

没有连接就无法做到这一点，除非可以保证每个分区都具有相同数量的分区和记录。 然后，您可以转换为RDD和zip。 否则只需join ：

import org.apache.spark.sql.functions.{least, struct}

val df1 = Seq(
  (345, "math", 70), (992, "chem", 76), (223, "bio", 80)
).toDF("id", "subject", "score")

val df2 = Seq(
  (345, "psy", 64), (992, "ant", 94), (223, "math",   45)
).toDF("id", "subject", "score")

df1.alias("df1")
  .join(df2.alias("df2"), Seq("id"))
  .select($"id", 
    least(struct($"df1.score", $"df1.subject"),
          struct($"df2.score", $"df2.subject")).alias("score"))
  .select($"id", $"score.subject", $"score.score")

// +---+-------+-----+
// | id|subject|score|
// +---+-------+-----+
// |345|    psy|   64|
// |992|   chem|   76|
// |223|   math|   45|
// +---+-------+-----+

要么

import org.apache.spark.sql.functions.when

df1.alias("df1")
  .join(df2.alias("df2"), Seq("id"))
  .select(
    $"id",
    when($"df1.score" < $"df2.score", $"df1.subject").otherwise($"df2.subject").alias("subject"),
     least($"df1.score", $"df2.score").alias("score"))

// +---+-------+-----+
// | id|subject|score|
// +---+-------+-----+
// |345|    psy|   64|
// |992|   chem|   76|
// |223|   math|   45|
// +---+-------+-----+