如何使用 python 在 spark SQL 中传递变量？

Question

我正在用python编写火花代码。 如何在 spark.sql 查询中传递变量？

    q25 = 500
    Q1 = spark.sql("SELECT col1 from table where col2>500 limit $q25 , 1")

目前上面的代码不起作用？ 我们如何传递变量？

我也试过，

    Q1 = spark.sql("SELECT col1 from table where col2>500 limit q25='{}' , 1".format(q25))

Answer 1

您需要像这样以字符串格式删除单引号和q25 ：

Q1 = spark.sql("SELECT col1 from table where col2>500 limit {}, 1".format(q25))

更新：

根据您的新查询：

spark.sql("SELECT col1 from table where col2>500 order by col1 desc limit {}, 1".format(q25))

请注意，SparkSQL 不支持 OFFSET，因此无法进行查询。

如果您需要添加多个变量，您可以尝试这种方式：

q25 = 500
var2 = 50
Q1 = spark.sql("SELECT col1 from table where col2>{0} limit {1}".format(var2,q25))

Answer 2

您需要做的就是将 s（字符串插值器）添加到字符串中。 这允许将变量直接使用到字符串中。

val q25 = 10
Q1 = spark.sql(s"SELECT col1 from table where col2>500 limit $q25)

Answer 3

如果您经常做这类事情或想让您的代码更容易重用，另一种选择是使用配置变量映射和格式选项：

configs = {"q25":10,
           "TABLE_NAME":"my_table",
           "SCHEMA":"my_schema"}
Q1 = spark.sql("""SELECT col1 from {SCHEMA}.{TABLE_NAME} 
                  where col2>500 
                  limit {q25}
               """.format(**configs))

Answer 4

一个非常简单的解决方案是将查询存储为字符串（使用通常的 Python 格式），然后将其传递给spark.sql()函数：

q25 = 500

query = "SELECT col1 from table where col2>500 limit {}".format(q25)

Q1 = spark.sql(query)

Answer 5

使用 f-Strings 方法（PySpark）：

table = 'my_schema.my_table'

df = spark.sql(f'select * from {table}')