PySpark 标记列可为空：false

Question

我有一个从 Kafka 读取的结构化 stream 并尝试使用 Struct 模式转换 JSON 有效负载。

{
    "fields": [
        {
            "metadata": {},
            "name": "test",
            "nullable": true,
            "type": {
                "containsNull": true,
                "elementType": {
                    "fields": [
                        {
                            "metadata": {},
                            "name": "message",
                            "nullable": false,
                            "type": "string"
                        },
                        {
                            "metadata": {},
                            "name": "recipient_id",
                            "nullable": true,
                            "type": "long"
                        }
                    ],
                    "type": "struct"
                },
                "type": "array"
            }
        },
        {
            "metadata": {},
            "name": "user_id",
            "nullable": true,
            "type": "long"
        }
    ],
    "type": "struct"
}

将 json 模式转换为 Struct by 结果如下。

StructType.fromJson(jsonSchema)

StructType([StructField('test', ArrayType(StructType([StructField('message', StringType(), False), StructField('recipient_id', LongType(), True)]), True), True), StructField('user_id', LongType(), True)])

使用此模式转换有效负载会产生一个数据帧模式，其中可空值设置为 true，即使在上述模式中设置为 false，并且将 null 值传递给该字段也不会导致任何错误。

spark_df = spark_df.selectExpr('timestamp', "CAST(value AS STRING)")
spark_df = spark_df.withColumn("value",from_json(col("value"),schemaNew, {"mode": "FAILFAST"}))
spark_df.printSchema()
root
 |-- timestamp: timestamp (nullable = true)
 |-- value: struct (nullable = true)
 |    |-- test: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- message: string (nullable = true)
 |    |    |    |-- recipient_id: long (nullable = true)
 |    |-- user_id: long (nullable = true)

我们还能如何从文件中读取模式并应用可为空的属性并将 JSON 数据转换为正确的 dataframe？

Answer 1

由于from_json()忽略可空性信息（请参阅下面的说明），您可以尝试在其后立即添加一个filter()将删除此类数据（其中message为null ）。 或者您可以尝试使用createDataFrame()来检查可空性并在可以选择的情况下合并回来。

为什么from_json()忽略可空性信息

在 spark 2.3.1 之前，由于 Jackson 解析器生成 null 而不管可空性如何，这种情况意外发生。 有 2 个选项可以解决此问题（来自此 SPARK 问题）：

1. 忽略架构中的可空性信息，并假设所有字段都可以为空。 由于 Jackson 解析器的限制，因此保持与以前相同的行为。
2. 验证数据，如果数据有null则在执行过程中失败。

他们选择了选项 1，因为它是“性能更高且更容易操作”且“侵入性更小”的选项。 因此， from_json()忽略模式中设置的可空性信息。