Pyspark collect() 方法在 Pycharm 或控制台中执行测试时给出不同的顺序

Question

我对我的 pytest 套件进行了一些测试，将数据帧与assert df1.collect() == df2.collect()进行比较。

如果我在 Pychar IDE 中执行代码，则测试通过，如果我在控制台中执行测试，则会引发断言错误。

经过一番调试，我发现当我用控制台执行测试时，收集的结果是无序的。

例如，如果我的 dataframe 有两行，则此代码将在 Pycharm 中传递，但在控制台中失败：

 assert df1.collect()[0] == df2.collect()[0]

这将在 Pycharm 中失败，但它会在控制台中通过：

assert df1.collect()[1] == df2.collect()[0]

我试图用python3 -m pytest和 pytest 来调用pytest 。 Pycharm和控制台使用同一个venv

Answer 1

据我所知.collect()不保证任何订单。 由于数据可能从多个执行器发送到驱动程序，因此一个执行器可能比另一个执行器快。 如果可能，您应该将列表作为一个整体进行比较，而不是比较单个元素。

例如

assertCountEqual(df1.collect(), df2.collect())