在加入 Spark 數據幀時使用過濾條件：Spark/Scala

Question

有人可以建議我如何在火花 scala 中加入 2 個數據幀時使用過濾器。我正在嘗試以下代碼。

    var name="abcd"
    var last_name="xyz"

    val df3 = df1.join(df2, df1("id") === df2("id"))
    .filter(df1("name")==='${name}').
    filter(df1("last_name")==='${last_name}')
    .drop(df1("name"))
    .drop(df2("name"))

但是出現多個錯誤。

Answer 1

Spark 不像 java 的 JDBC API，我們需要在 where 條件下用單引號包裹字符串。 你能簡單地嘗試使用不帶任何引號和 $ 符號的name變量嗎

    var name="abcd"
    var last_name="xyz"
    val df3 = df1.join(df2, df1("id") === df2("id"))
    .filter(df1("name")===name && df1("last_name")===last_name)
    .drop(df1("name"))
    .drop(df2("name"))