在不更改舊架構的情況下在pyspark中讀取json文件

Question

我每天都會收到帶有10個屬性的json，但是幾天后，如果任何屬性沒有值，它們將發送9個屬性，而第十個屬性不在json中。 我如何在不更改舊表架構的情況下讀取pyspark中的json文件

Answer 1

似乎在讀取文件時應強制執行schema 。 我假設你有這樣的事情：

df = spark.read.json(path_to_json_files)

為了保留所有屬性/字段，請使用如下模式：

df = spark.read.schema(file_schema).json(path_to_json_files)

要獲取file_schema ，可以使用一個舊文件，您知道每個屬性都可用：

file_schema = spark.read.json(full_json_file).schema