向 PySpark 数组添加无

Question

我想创建一个基于现有列有条件地填充的数组，有时我希望它包含None 。 这是一些示例代码：

from pyspark.sql import Row
from pyspark.sql import SparkSession
from pyspark.sql.functions import when, array, lit
 
spark = SparkSession.builder.getOrCreate()
 
df = spark.createDataFrame([
    Row(ID=1),
    Row(ID=2),
    Row(ID=2),
    Row(ID=1)
])

value_lit = 0.45
size = 10

df = df.withColumn("TEST",when(df["ID"] == 2,array([None for i in range(size)])).otherwise(array([lit(value_lit) for i in range(size)])))

df.show(truncate=False)

这是我得到的错误：

TypeError：参数无效，不是字符串或列：类型为 <type 'NoneType'> 的无。 对于列文字，请使用“lit”、“array”、“struct”或“create_map”function。

我知道它不是字符串或列，我不明白为什么它必须是？

• lit ：不起作用。
• array ：我不确定如何在这种情况下使用数组。
• struct ：可能是 go 的方式，但我不确定如何在这里使用它。 也许我必须设置一个选项以允许新列包含 None 值？
• create_map ：我没有创建 key:value map 所以我确定这不是正确的使用方法。

Answer 1

试试这对我有用，（在数组之前点亮）：

from pyspark.sql import Row
from pyspark.sql import SparkSession
from pyspark.sql.functions import when, array, lit

spark = SparkSession.builder.getOrCreate()

df = spark.createDataFrame([
    Row(ID=1),
    Row(ID=2),
    Row(ID=2),
    Row(ID=1)
])

value_lit = 0.45
size = 10

df = df.withColumn("TEST",when(df["ID"] == 2,array([lit(None) for i in range(size)])).otherwise(array([lit(value_lit) for i in range(size)])))

df.show(truncate=False)

Output：

Answer 2

条件必须翻转： F.when(F.col('ID'),= 2 value_lit)

如果您这样做，则根本不需要otherwise方法。 when条件不满足，则结果始终为 null。

此外，只需一个列表理解就足够了。

from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
 
df = spark.createDataFrame([(1,), (2,), (2,), (1,)], ['ID'])

value_lit = 0.45
size = 10

df = df.withColumn("TEST", F.array([F.when(F.col('ID') != 2, value_lit) for i in range(size)]))

df.show(truncate=False)
# +---+------------------------------------------------------------+
# |ID |TEST                                                        |
# +---+------------------------------------------------------------+
# |1  |[0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45]|
# |2  |[,,,,,,,,,]                                                 |
# |2  |[,,,,,,,,,]                                                 |
# |1  |[0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45, 0.45]|
# +---+------------------------------------------------------------+

我已经在 Spark 2.4.3 上运行了这段代码。