[英]JSON List conversion
我的(元组)JSON 值列表如下所示:
testJson = [('{"drivernumber":1, "speed" : ["30.5", "40", "50", "25.25"]}',),
('{"drivernumber":2, "speed" : ["25.25", "10.11", "11", "50"]}',),
('{"drivernumber":3, "speed" : ["40", "50", "80", "42"]}',)
]
我创建了以下数据结构:
from pyspark.sql.types import StructType, StructField, IntegerType, ArrayType, StringType
readSchema = StructType([
StructField("drivernumber", IntegerType(), True),
StructField("speed", StringType(FloatType(), True), True)])
然后创建了一个DataFrame:
df = (spark.read.schema(readSchema).json(sc.parallelize(testJson)))
display(df)
最终,我需要获得以下输出,但目前,我的 DF(在上述步骤之后)只有 NULL,我不知道为什么。 任何线索或提示将不胜感激。 谢谢 :)
speed drivercount
50 3
40 2
25.25 2
11 1
.... ....
您不必为其定义架构,只需使用
df = spark.read.json(sc.parallelize(testJson))
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.