从Blob读取json文件作为字典

Question

我有一个存储在Blob中的json文件。 我想将该文件作为字典阅读。 对于普通的文件系统，我会按照以下说明进行操作-

with open(file_path) as f:
        data = json.load(f)

但是，当我打开Blob网址时，它不起作用。 我可以使用pyspark函数从blob中读取内容并将其转换为json，如下所示-

df=spark.read.json(file_url)
data = list(map(lambda row: row.asDict(True), df.collect()))[0]

我想知道是否可以像上面一样简单地执行此操作，因为收集操作在火花中有点昂贵。

Answer 1

您可以使用熊猫从url读取json。 例如

import pandas as pd
json_data = pd.read_json("http://ip-api.com/json/54.148.84.95", typ='series')
json_data.head()