使用结构创建数组时忽略空列

Question

我向数据框添加了一列，该列是其他列的数组。

构造列name_source 时如何忽略空值？ 例如， Robert行将显示[internet, Robert]而不是[internet, Robert,] 。 名称为空的将显示[internet,65878]而不是[internet,, 65878]

Answer 1

您可以通过以下方式实现相同的效果：

df = df.withColumn('name_source', expr('filter(name_source, x -> x is not null)'))

斯卡拉：

df.select(filter(col("name_source"), x => x.isNotNull))

Answer 2

假设您想从初始数据框中的所有列创建新列：

df["name_source"] = df.apply(lambda x : x.dropna().values, axis=1)

Answer 3

将所有行和除 None 之外的数组转换为字符串后

df.withColumn("name_source",array(*[c for c in df.columns ])).withColumn("name_source",array_except(col('name_source'),array(lit(None).cast('string')))).show(truncate=False)