如何减去两个PySpark dataframe的所有列值？

Question

嗨，我遇到过这种情况，我需要像这样减去两个 PySpark dataframe 之间的所有列值：df1：

col1 col2 ... col100
 1    2   ...  100

df2:

col1 col2 ... col100
5     4   ...  20

我想用 df1 - df2: new df: 得到最终的 dataframe

col1 col2  ... col100
-4     -2  ...   80

我检查了可能的解决方案是减去两列，如：

new_df = df1.withColumn('col1', df1['col1'] - df2['col1'])

但是我有101个列，如何简单的遍历整个东西，避免写出101个类似的逻辑呢？ 任何答案都超级合适！

对于 101 列如何简单地遍历所有列并减去它的值？

Answer 1

您可以创建一个 for 循环来遍历列并在 dataframe 中使用减去的值创建新列。 这是 PySpark 中的一种方法：

columns = df1.columns

for col in columns:
    df1 = df1.withColumn(col, df1[col] - df2[col])

这将创建一个新的 dataframe，其中包含每列的减去值。

Answer 2

在具有 python 列表理解的单个 select 中：

columns = df1.columns

df1 = df1.select(*(df1[col] - df2[col]).alias(col) for col in columns))