在 python 的 spark df 中斷言特定單元格的值

Question

在 pyspark 數據幀中斷言特定單元格值的最簡單方法是什么？

+---------+--------+
|firstname|lastname|
+---------+--------+
|James    |Smith   |
|Anna     | null   |
|Julia    |Williams|
|Maria    |Jones   |
|Jen      |Brown   |
|Mike     |Williams|
+---------+--------+

我想在此數據幀的各自行/列中斷言值 null 和“Jen”的存在。

所以我可以使用類似的東西：

assert df['firstname'][4] == "Jen"
assert df['lastname'][1] == None

Answer 1

根據我的發現，使用collect()是一種方式（相當於 Pandas df 中的 iloc() ）：

assert df.collect()[4]['firstname'] == 'Jen'
assert df.collect()[1]['lastname'] is None