如何在 pyspark 中运行此任务？

Question

我在 pyspark 中有这个 Df。

cod, date    , value_1, value_2, value_3
1  , 2021-03 ,       0,       3,       3
2  , 2021-04 ,       2,       0,       0
3  , 2021-05 ,       3,       3,       3
4  , 2021-03 ,       0,       0,       0

我需要添加一列，它按 cod 计算值列中的零，并且它保持这样。

cod, date    , value_1, value_2, value_3, new_column
1  , 2021-03 ,       0,       3,       3,          1
2  , 2021-04 ,       2,       0,       0,          2
3  , 2021-05 ,       3,       3,       3,          0
4  , 2021-03 ,       0,       0,       0,          3

我使用 pyspark SQL。

Answer 1

您可以检查值列中的 0，并按行计数。

from pyspark.sql import functions as F

value_columns = ['value_1', 'value_2', 'value_3']

df.withColumn("new_column", sum(F.when(df[col] == 0, 1)\
    .otherwise(0) for col in value_columns)).show()

+---+-------+-------+-------+-------+----------+
|cod|   date|value_1|value_2|value_3|new_column|
+---+-------+-------+-------+-------+----------+
|  1|2021-03|      0|      3|      3|         1|
|  2|2021-04|      2|      0|      0|         2|
|  3|2021-05|      3|      3|      3|         0|
|  4|2021-03|      0|      0|      0|         3|
+---+-------+-------+-------+-------+----------+