如何将 JSON object 的列表转换为 PySpark DataFrame？

Question

我想将变量中的 JSON 字符串转换为 Databricks 上的 PySpark DataFrame。

我有一个来自 API 的有效负载。它是 JSON 个对象的列表，保存在一个名为response_list的变量上。 变量是 JSON object 类型为class 'str'> ：

[{"sentiment":"neutral","sentiment_confidence_score":0.8585},{"sentiment":"neutral","sentiment_confidence_score":0.7861}]

我正在尝试将其解析为 PySpark dataframe 所以这里的每个 object 都是一行。 下面是所需的 output。

pyspark_column
{“情绪”：“中性”，“sentiment_confidence_score”：0.8585}
{“情绪”：“中性”，“sentiment_confidence_score”：0.7861}

我尝试的是：

dfJson = sc.parallelize(response_list).map(lambda x: json.dumps(x))
dfJson = spark.read.json(dfJson)
dfJson.show(truncate = False)

它抛出这个缺少参数的错误：

File "<command-3646528696964905>", line 79, in json_parse
    dfJson = sc.parallelize(response_list).map(lambda x: json.dumps(x))
TypeError: parallelize() missing 1 required positional argument: 'c'

我花了将近一整天的时间。 当我将 JSON 的列表复制粘贴到 JSON Validator 时，它说，这个 JSON 是有效的。 所以我假设格式是正确的。 但我不知道如何将其转换为 dataframe。

Answer 1

好的，这就像回答我自己的问题。 但我终于解决了。 如果主持人认为合适，他们可以删除问题。 我将 json 字符串解析为字典列表。 然后我使用字典列表创建了一个 Spark Dataframe。 我相信有更有效的方法可以做到这一点。 但这暂时有效。

# empty list to store dict items
list_of_dicts = []
        
response_list_dumped = json.loads(response_list)
for d in response_list_dumped:
    list_of_dicts.append(d)
        
ResponseDF = spark.createDataFrame(list_of_dicts)

output是这样的：

|sentiment|sentiment_confidence_score|
|negative |0.9065                    |
|neutral  |0.6207                    |
|positive |0.6734                    |
|positive |0.5663                    |
|neutral  |0.8788                    |
|neutral  |0.9155                    |
|neutral  |0.5019                    |
|negative |0.6617                    |
|neutral  |0.69                      |
|neutral  |0.8335                    |