withColumn 仅将值添加到 pyspark 中的 dataframe 的第一行

Question

withColumn 仅将值添加到 pyspark 中的 dataframe 的第一行

from pyspark.sql import SparkSession
from pyspark.sql import functions as F, Window as W

columns = ["language","users_count"]
data = [(" ", 20000), ("Python", 100000), ("Scala", 3000)]

spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate()
rdd = spark.sparkContext.parallelize(data)

columns = ["language","users_count"]
df = rdd.toDF(columns)
df.printSchema();

df.filter((F.trim(df.language) == '') | (df.users_count >= 1000)).withColumn("errors", F.when(F.trim(F.col("language")) == '', F.concat(F.lit("Invalid Language;")))).withColumn("errors", F.when(F.col("users_count") > 1000, F.concat(F.col("errors"), F.lit("Invalid Users_Count;")))).show(truncate=False)

我正在尝试根据过滤条件过滤行，如果任何行在“语言”列中有空格，或者“用户计数”列中的值大于 1000，则应用程序将在“错误”中添加适当的错误消息' 像这样的列，无效的语言； 无效的用户数。

但是“错误”列中的此错误消息仅出现在第一行，所有其他行在“错误”列中都有“空”值。

这是上述代码的数据块中的 output：

    +--------+-----------+-------------------------------------+
|language|users_count|errors                               |
+--------+-----------+-------------------------------------+
|        |20000      |Invalid Language;Invalid Users_Count;|
|Python  |100000     |null                                 |
|Scala   |3000       |null                                 |
+--------+-----------+-------------------------------------+

Answer 1

.concat()不适用于 null 列，您必须使用.concat_ws() 。

df.filter((F.trim(df.language) == '') | (df.users_count >= 1000)).withColumn("errors", F.when(F.trim(F.col("language")) == '', F.concat(F.lit("Invalid Language;")))).withColumn("errors", F.when(F.col("users_count") > 1000, F.concat_ws("", F.col("errors"), F.lit("Invalid Users_Count;")))).show(truncate=False)