如何聯接兩個數據框？

Question

我無法使Sparks DataFrame加入工作（沒有產生結果）。 這是我的代碼：

val e = Seq((1, 2), (1, 3), (2, 4))
var edges = e.map(p => Edge(p._1, p._2)).toDF()
var filtered = edges.filter("start = 1").distinct()
println("filtered")
filtered.show()
filtered.printSchema()
println("edges")
edges.show()
edges.printSchema()
var joined = filtered.join(edges, filtered("end") === edges("start"))//.select(filtered("start"), edges("end"))
println("joined")
joined.show()

它要求在頂級定義case class Edge(start: Int, end: Int) 。 這是它產生的輸出：

filtered
+-----+---+
|start|end|
+-----+---+
|    1|  2|
|    1|  3|
+-----+---+

root
 |-- start: integer (nullable = false)
 |-- end: integer (nullable = false)

edges
+-----+---+
|start|end|
+-----+---+
|    1|  2|
|    1|  3|
|    2|  4|
+-----+---+

root
 |-- start: integer (nullable = false)
 |-- end: integer (nullable = false)

joined
+-----+---+-----+---+
|start|end|start|end|
+-----+---+-----+---+
+-----+---+-----+---+

我不明白為什么輸出為空。 為什么filtered的第一行與edges的最后一行不合並？

Answer 1

val f2 = filtered.withColumnRenamed("start", "fStart").withColumnRenamed("end", "fEnd")
f2.join(edges, f2("fEnd") === edges("start")).show

我相信這是因為filtered("start").equals(edges("start")) ，即filtered是邊緣上的已過濾視圖，它們共享列定義。 這些列相同，因此Spark無法理解您所引用的對象。

因此，您可以做類似的事情

edges.select(filtered("start")).show