如何使用另一个数据帧的值创建数据帧

Question

我使用以下代码获取 suppId DataFrame。

val suppId = sqlContext.sql("SELECT supp_id FROM supplier")

DataFrame 返回单个或多个值。

现在我想使用来自 suppId DataFrame 的 supp_id 的值创建一个 DataFrame。 但是不明白，这个怎么写。

我写了下面的代码。 但是代码不起作用。

val nonFinalPE = sqlContext.sql("select * from pmt_expr) 
nonFinalPE.where("supp_id in suppId(supp_id)")

Answer 1

我花了一秒钟才弄清楚你要做什么。 但是，看起来您希望来自 nonFinalPe 的行也在 suppId 中。 您可以通过对两个数据框进行内部连接来获得此信息，如下所示

val suppId = sqlContext.sql("SELECT supp_id FROM supplier")
val nonFinalPE = sqlContext.sql("select * from pmt_expr") 

val joinedDF = nonFinalPE.join(suppId, nonFinalPE("???") === suppId("supp_id"), "inner")