如何在 Pyspark 中添加类似类型的列？

Question

我想添加类似类型的列（总列数超过 100），如下所示：

ID	b	c	d	b_apac	c_apac	d_apac
A B C D	3个	5个	null	45	9	1个
bcd	13	15	1个	45	2个	10
光盘	32	null	6个	45	90后	1个

结果表应如下所示：

ID	b_sum	c_sum	d_sum
A B C D	48岁	14	1个
bcd	58	17	11
光盘	77	90后	7

请帮助我提供一些通用代码，因为我有 100 多列可以为此执行此操作。 |

Answer 1

您可以使用sum并检查列名的前缀：

df.select(
    'id',
    sum([df[col] for col in df.columns if col.startswith('b')]).alias('b_sum'),
    sum([df[col] for col in df.columns if col.startswith('c')]).alias('c_sum'),
    sum([df[col] for col in df.columns if col.startswith('d')]).alias('d_sum'),
).show(10, False)