將JSON從URL轉換為數據框（Pyspark和Scala）

Question

我有一個網址，例如：

the_given_URL = https://blahblah.blahblah.com/raw/AAA/B_B_B/C-C/DD_DD/W/config/smth.json?token=AAArebNfNdB5Ypd9de2NH1ifSCzqA-aEks5dTcabwA%3D%3D

其中包含Json格式的數據，並且可能會定期更新。

我找不到將其轉換為數據框的方法。 Scala和Pyspark方式都可能會有所幫助。

我已經嘗試過類似的東西

  val df = sqlContext.read.json("the_given_URL")

但我得到以下錯誤：

  19/08/05 17:43:13 WARN FileStreamSink: Error while looking for metadata directory.

  java.io.IOException: No FileSystem for scheme: https

請考慮我得到的錯誤是給定URL的 。

Answer 1

您應該使用請求庫來訪問網頁。 這應該可以幫助您保持身材

import json
import requests

req = requests.get("path to json")
df = sqlContext.createDataFrame([json.loads(line) for line in req.iter_lines()])