PySpark 动态列重命名不起作用

Question

我正在尝试使用以下方法动态重命名 Pyspark 中的列。 但只有一列被重命名，而不是全部

target_schema : ['customer_Number', ' product_Number', ' Payment_Term', ' DateTime', ' Company_ID', ' Company_Number', ' Col1', ' Col2']
source_schema : ['customerID', ' productID', ' Paymentterm', ' datetime', ' xyzID']

display(df_xyz)

dataframe的output

df_rename_schema = df_xyz.select([col(c).alias(source_target_mapping.get(c, c)) for c in df_xyz.columns])

df_modified_source_schema = df_rename_schema.columns
print(df_modified_source_schema)

Output : ['productID', 'customer_Number', 'Paymentterm', 'datetime', 'xyzID']

Expected Output : ['product_Number', ' customer_Number', ' Payment_Term', 'DateTime','Company_ID']

请帮助这里出了什么问题以及如何实现解决方案

Answer 1

假设您的source_target_mapping不考虑df_xyz列名中的空格。 您可以在查找操作之前从列名中去除空格。

df_rename_schema = df_xyz.select([F.col(c).alias(source_target_mapping.get(c.strip(), c)) for c in df_xyz.columns])