在scala中逐个单元比较2个火花数据帧

Question

我正在将 hive 表中摄取的数据与该源的数据进行比较，并将差异存储在 mariadb 表没有主键，并希望有一个优化解决方案，尽管我使用了 except 方法来检查差异我我发现很难打印出不同的同一行的列中的差异。

Answer 1

据我所知，在没有主键的情况下无法解决您的问题，因为在这种情况下，一个 DataFrame 的每一行都可能与另一个 DataFrame 的每一行不同，实际上您不想报告差异另一个 DataFrame 的行。