如何 select 来自其中一个数据框的结果列，同时在 Spark 中与其他数据框连接？

Question

我有两个数据框：

val df1 = List(("Sid", 1), ("Teni", 2), ("Bob", 3), ("Spark", 4), ("Hbase", 5)).toDF("name", "value")
val df2 = List(("Sidhartha", 1), ("Tammineni", 2), ("Bobby", 3), ("Spark", 4)).toDF("name", "value")

在外连接中加入这两个数据帧后，我得到了下面的 dataframe 结果。

scala> df1.join(df2, Seq("value"), "outer").show()
+-----+---------+-----+---------+-----+
|value|     name|state|     name|state|
+-----+---------+-----+---------+-----+
|    1|      Sid|  odd|      Sid|  odd|
|    3|      Bob|  odd|      Bob|  odd|
|    5|    Hbase|  odd|     null| null|
|    4|    Spark| even|    Spark| even|
|    2|     Teni| even|     Teni| even|
+-----+---------+-----+---------+-----+

为了避免最终 output 中出现重复列，我尝试使用

df1.join(df2, Seq("name", "state", "value"), "outer").show()

但在结果中，我看到来自df1的数据。 即使我尝试以相反的方式加入df2.join(df1, ... outer) ，我仍然会看到df1的 output 列如下。

+---------+-----+-----+
|     name|state|value|
+---------+-----+-----+
|     Teni| even|    2|
|    Spark| even|    4|
|    Hbase|  odd|    5|
|      Bob|  odd|    3|
|      Sid|  odd|    1|
+---------+-----+-----+

加入后，我尝试从特定的 dataframe 中提取 select 列，如下所示：

df1.join(df2, Seq("value"), "outer").select(df2("name","value","state")).show()
<console>:28: error: too many arguments (3) for method apply: (colName: String)org.apache.spark.sql.Column in class Dataset
       df1.join(df2, Seq("value"), "outer").select(df2("name","value","state")).show()

和

scala> df1.join(df2, Seq("value"), "outer").df2("name","value","state").show()
<console>:28: error: value df1 is not a member of org.apache.spark.sql.DataFrame
       df1.join(df2, Seq("value"), "outer").df2("name","value","state").show()

在此示例中，我试图在连接操作后查看df2中的 output 列。 无论如何我可以实现它吗？

Answer 1

选择多列的语法应该是一一指定它们中的每一个，例如

df1.join(df2, Seq("value"), "outer").select(df2("name"), col("value")).show
+---------+-----+
|     name|value|
+---------+-----+
|Sidhartha|    1|
|    Bobby|    3|
|     null|    5|
|    Spark|    4|
|Tammineni|    2|
+---------+-----+

请注意， value不应附加到任何数据框，而应使用col选择，因为它被用作连接列。