我们可以使用循环在 pyspark 中执行查询吗

Question

`Table_names=[EMP_ID,EMP_NAME,EMP_ADD,EMP_PHNO]
for i in Table_nams:
    spark.sql("select * from Employee where i is null")'

收到错误提示无法解析“我”

Answer 1

您需要先生成 sql 查询，然后再将其传递给 spark.sql

您还需要在'中传递值，因为这些值是字符串类型

Table_names=['EMP_ID','EMP_NAME','EMP_ADD','EMP_PHNO']
for i in Table_names:
    sql_query =  "select * from Employee where " +i+" is null"
    spark.sql(sql_query)