PySpark：在多列中计数值的最快方法

Question

我需要在几列中计算一个值，并且我希望列表中每一列的所有这些单独计数。

有没有更快/更好的方法来做到这一点？ 因为我的解决方案需要相当长的时间。

dataframe.cache()
list = [dataframe.filter(col(str(i)) == "value").count() for i in range(150)]

Answer 1

您可以进行条件计数聚合：

import pyspark.sql.functions as F

df2 = df.agg(*[
    F.count(F.when(F.col(str(i)) == "value", 1)).alias(i) 
    for i in range(150)
])

result = df2.toPandas().transpose()[0].tolist()

Answer 2

您可以尝试以下方法/设计

1. 为数据帧的每一行写一个 map function，如下所示：

VALUE = 'value'

def row_mapper(df_row):
    return [each == VALUE for each in df_row]

2. 为数据帧编写一个减少 function ，将 2 个两行作为输入：

def reduce_rows(df_row1, df_row2):
    return [x + y for x, y in zip(df_row1, df_row2)]

注意：这些是简单的 python function 来帮助您了解一些您可以直接应用于 PySpark 的 udf 函数。