如何断言 jsonl 和镶木地板 dataframe 在使用 pyspark 的数据块中是相同的？

Question

我正在尝试将大约 25.000 个 JSONL 表文件从 JSONL 迁移到 Parquet，并希望断言复制后的所有值是否相同。

示例文件PERSONS.jsonl 行：

{"ID":"537","A_ID":"N","GENDER":null,"NAME":"Alex"}

因此，我使用 Azure 数据工厂本机复制作业将旧的 jsonl 文件转换为镶木地板。 这很好，但是我想断言这些新的镶木地板文件具有相同的值。

我使用 python 在 databricks 笔记本中编写了以下声明。

df_gen1 = spark.read.load('adl://blabla.azuredatalakestore.net/PERSONS.jsonl', format='json')

这将按字母顺序读取列。

df_gen2 = spark.read.parquet('abfs://datalake@blabla.dfs.core.windows.net/PERSONS.jsonl.parquet')
df_gen2 = df_gen2.select(sorted(df_gen2.columns))

我需要对 df_gen2 的列进行排序，因为 json 按字母顺序对它们进行排序。

当我比较模式时，它们是不同的：

df_gen1.printSchema() 
-- GENDER: double (nullable = true)     -- ID: double (nullable = true)     -- NAME: string (nullable = true) 

df_gen2.printSchema() 
-- GENDER: string (nullable = true)     -- ID: double (nullable = true)     -- NAME: string (nullable = true) 

ID、NAME 相同但 GENDER 不同

但是当我运行时：

def are_dfs_equal(df1, df2):
    if df1.collect() != df2.collect():
        return False
    return True
are_dfs_equal(df_gen1,df_gen2)

它返回 false，但值相同：

df_gen1

ID	援助	性别	姓名
537	ñ	null	亚历克斯

df_gen2

ID	援助	性别	姓名
537	ñ	null	亚历克斯

我不介意不同的数据类型，我只想检查值是否相同。 如何断言新 parquet 文件中的值与旧 jsonl 文件中的值相同？