如何为python/pyspark数据帧中的所有列添加后缀和前缀

Question

我在 pyspark 中有一个超过 100 列的数据框。 我想要做的是对于所有我想在列名的开头和列名的末尾添加回勾号（`）的列名。

例如：

column name  is testing user. I want `testing user`

在 pyspark/python 中是否有一种方法可以做到这一点。 当我们应用代码时，它应该返回一个数据框。

Answer 1

在 python 中使用列表理解。

from pyspark.sql import functions as F

df = ...

df_new = df.select([F.col(c).alias("`"+c+"`") for c in df.columns])

此方法还为您提供了在 alias() 函数中添加自定义 Python 逻辑的选项，例如： "prefix_"+c+"_suffix" if c in list_of_cols_to_change else c

Answer 2

您可以将数据withColumnRenamed方法与na结合使用来创建新的数据框

df.na.withColumnRenamed('testing user', '`testing user`')

编辑：假设您有列列表，您可以这样做 -

old = "First Last Age"
new = ["`"+field+"`" for field in old.split()]
df.rdd.toDF(new)

输出 ：

DataFrame[`First`: string, `Last`: string, `Age`: string]

Answer 3

如果您想为 pyspark 数据框中的多个列添加前缀或后缀，您可以使用 for 循环和 .withColumnRenamed()。

例如，您可能喜欢：

def add_prefix(sdf, prefix):

      for c in sdf.columns:

          sdf = sdf.withColumnRenamed(c, '{}{}'.format(prefix, c))

      return sdf

您可以根据需要修改 sdf.columns。

Answer 4

添加前缀或后缀：

1. 请参阅 df.columns 以获取列列表 ([col_1, col_2...])。 这是数据框，我们要为其添加后缀/前缀列。

df.columns

2. 迭代通过上面所列内容，并创建与可以选择表达式内使用别名列的另一个列表。

from pyspark.sql.functions import col

select_list = [col(col_name).alias("prefix_" + col_name)  for col_name in df.columns]

3. 使用内部选择时，不要忘记用星号（*）解压列表。 我们可以将其分配回相同或不同的 df 以供使用。

df.select(*select_list).show()
df = df.select(*select_list)

df.columns 现在将返回新列的列表（别名）。

Answer 5

我有一个数据框，我复制了两次然后连接在一起。 由于两者都有我使用的相同列名：

df = reduce(lambda df, idx: df.withColumnRenamed(list(df.schema.names)[idx],
                                                 list(df.schema.names)[idx] + '_prec'),
            range(len(list(df.schema.names))),
            df)

我的数据框中的每一列都有“_prec”后缀，这让我可以做一些甜蜜的事情