有沒有辦法比較兩個數據框並報告 Pyspark 中哪一列不同？

Question

我正在使用df1.subtract(df2).rdd.isEmpty()來比較兩個數據幀（假設這兩個 df 的模式相同，或者至少我們希望它們相同），但是如果列之一不匹配，我無法從 output 日志中分辨出來，而且我需要很長時間才能找出數據中的問題（而且當數據集很大時它會很累）

有沒有一種方法可以比較兩個 df 並返回哪個列與 Pyspark 不匹配？ 非常感謝。

Answer 1

您可以使用chispa 庫，它是比較數據幀的好工具。