如何根据 pyspark 中另一列的值检查一列是否为 null？

Question

如果特定date_stamp处的vin为 null，如何使我的条件打印为 True？

葡萄酒	比纳尔	日期
null	eqr21144	2021 年 2 月 2 日
Ebntyure43	Evirter45	02-03-2021

date_stamp = "02-02-2021"

df2 = df.withColumn(vin,F.when(F.col('date')==F.lit(date_stamp)).isnull())
if df2==True:
   print('True')
else:
   print('False')

Answer 1

您无法测试 dataframe 是真还是假。 您需要测试列，并使用head()[0]收集结果：

result = df.filter(F.col('date')==F.lit(date_stamp)).select(F.col('vin').isNull()).head()[0]

然后你可以使用类似 if result if result: print('True')

Answer 2

你也可以这样写：

df2 = df.filter("date = '02-02-2021' AND vin IS NULL")

if df2.count():
    print(True)
else:
    print(False)

如果df2.count > 0表示该日期date = 02-02-2021 02-02-2021 的vin中至少有一个 null 值