使用动态列注入循环遍历数据帧

Question

我正在寻找创建一个 dynamic.withColumn。

根据正在处理的文件，“规则”列被替换为列表。

例如：文件 A 有一个名为“已验证”的列，该列基于与文件 B 不同的条件，但具有相同的列名 A。那么我们可以遍历所有文件 AZ 对每个文件中的同一列应用不同的规则吗？

在这里，我试图验证许多数据帧。 在每个 dataframe 上创建一个 EmailAddress_Validation 字段。每个数据框都有不同的 email 验证规则集。 这些规则存储在名为 EmailRuleList 的列表中。 当我们遍历每个数据集时，相应的规则“EmailRuleList[i]”从列表中传入。

下面的代码具有语法。 还用“#”（散列）注释掉的是规则示例。 有趣的是，如果我在没有循环（# 注释）的情况下提供规则，则代码可以正常工作，但显然会将相同的规则应用于所有文件。

i=0
for FileProcessName in FileProcessListName:
    EmailAddress_Validation = EmailRuleList[i]
    #EmailAddress_Validation = when((regexp_extract(col("EmailAddress"),EmailRegEx,0))==(col("EmailAddress")),0).otherwise(1)
    print(EmailAddress_Validation)
    print(FileProcessName)
    i=i+1
    vars()[FileProcessName] = vars()[FileProcessName].withColumn("EmailAddress_Validation", EmailAddress_Validation)

错误信息：col 应该是 Column

EmailRuleList 类似于...

['when((regexp_extract(col("EmailAddress"),EmailRegEx,0))==(col("EmailAddress")),1).otherwise(0)',
 'when((regexp_extract(col("EmailAddress"),EmailRegEx2,0))==(col("EmailAddress")),0).otherwise(1)',
 'when((regexp_extract(col("EmailAddress"),EmailRegEx3,0))==(col("EmailAddress")),0).otherwise(1)',
 'when((regexp_extract(col("EmailAddress"),EmailRegEx4,0))==(col("EmailAddress")),0).otherwise(1)']

尝试了很多不同的东西，但有点卡住了

Answer 1

• 错误在 for 循环的最后一行。 您要在.withColumn()中检查的 when 条件实际上是一个字符串（ EmailRuleList的每个元素都是一个字符串）。

• 由于withColumn期望发送参数是一列，因此它给出了错误。 当我尝试提供与您的代码类似的内容时（在 withColumn() 中），请查看类似的错误：

from pyspark.sql.functions import when,col

df.withColumn("check","when(col('gname')=='Ana','yes').otherwise('No')").show()

• 为了让它工作，我使用了eval function。因此，使用以下代码不会引发错误：

from pyspark.sql.functions import when,col

df.withColumn("check",eval("when(col('gname')=='Ana','yes').otherwise('No')")).show()

• 因此，将您的代码修改为下面给出的代码以使其工作：

i=0
for FileProcessName in FileProcessListName:
    EmailAddress_Validation = EmailRuleList[i]
    #EmailAddress_Validation = when((regexp_extract(col("EmailAddress"),EmailRegEx,0))==(col("EmailAddress")),0).otherwise(1)
    print(EmailAddress_Validation)
    print(FileProcessName)
    i=i+1
    vars()[FileProcessName] = vars()[FileProcessName].withColumn("EmailAddress_Validation", eval(EmailAddress_Validation))