在 pyspark SQL 語句中傳遞變量

Question

我試圖在 Spark SQL 語句中插入多個變量，並在這里發現了一個類似的問題： How to pass variables in spark SQL, using python? 我的問題是如何使用作為字符串變量的多個變量列表（下面的部門變量）來做到這一點？ 它適用於浮點數/整數。 我已經嘗試了幾種語法變體，但我得到一個“不匹配的輸入 'From' 期望 EOF ”錯誤。

configs = {"lim":10,
           "codes":"A",
           "department": " 'A', 'B', 'C'", ## this is what's not working
           "salary": "100.00, 200.00"
}

df = spark.sql("""SELECT col1, col2 from table
                  WHERE employee_id IN ({department})
AND salary IN ({salary})
                 LIMIT 10
               """.format(**configs))

Answer 1

嘗試 escaping 單引號：

"department": " \'A\', \'B\', \'C\'"