如何将 JSON API 打印到 Python 中的数据帧

Question

我已经看到了许多针对类似问题的修复程序，但我似乎无法弄清楚这个特定的 API 有什么不同。

我是新手，但尝试使用私人链接来工作，看看我是否可以加快我正在处理的手动过程。

我已经尝试了几个带有公共 API 的脚本，这些脚本可以工作——我认为这是一个权限错误，但我实际上能够使用这个脚本将 API 提要打印到 TERMINAL，这给了我希望：

import requests as rq
from bs4 import BeautifulSoup
import urllib3
import certifi
# urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

http = urllib3.PoolManager(
       cert_reqs='CERT_REQUIRED',
       ca_certs=certifi.where())


# url = 'https://api.chucknorris.io/jokes/random'
url = 'realurl'
req = rq.get(url, verify=False)

soup = BeautifulSoup(req.text, 'html.parser')


print(soup)

如果我能够打印到终端，我应该能够打印到谷歌表格（或者至少是 CSV，我想）......我的问题是创建数据帧； 我尝试了很多不同的方法，但我一直看到各种错误 - 这个是“类型方法的对象不是 JSON 可序列化的”

我想要做的就是 append 数据到我用 Gspread 设置的 G 表：

import gspread
import requests as rq
from bs4 import BeautifulSoup
import pandas as pd
from pandas import json_normalize
import json
import urllib3
from urllib3 import request
import certifi

http = urllib3.PoolManager(
    cert_reqs='CERT_REQUIRED',
    ca_certs=certifi.where())


gc = gspread.service_account(filename='creds.json')
sh = gc.open_by_key('sheetkey')
worksheet = sh.sheet1


headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.79 Safari/537.36'
}


# url = 'https://api.chucknorris.io/jokes/random'
url = 'realurl'
req = rq.get(url, verify=False)

soup = BeautifulSoup(req.text, 'html.parser')


df1 = pd.DataFrame(soup)

df = df1.to_json

# pd.set_option("display.max_rows", None)
# pd.set_option("display.max_columns", None)

AddData = [df]
worksheet.append_row(AddData)

我在这一点上看到的所有修复程序都是在我的 object 上添加 _toCSV 或 _toDict ......但我已经尝试在任何地方添加它。

我也很困惑为什么它说我需要 JSON 格式，而原来的 API 是 JSON 格式。

我在这里错过了什么吗？ 我基本上只想从我的第一个代码中获取数据集并创建 DataFrame，以便我可以打印到 G Sheet。 任何建议将不胜感激。

更新：

我现在正在将提要中的一个类别标题打印到工作表中：

import gspread
import requests as rq
from bs4 import BeautifulSoup
import pandas as pd
from pandas import json_normalize
import json
import urllib3
from urllib3 import request
import certifi

http = urllib3.PoolManager(
    cert_reqs='CERT_REQUIRED',
    ca_certs=certifi.where())


gc = gspread.service_account(filename='creds.json')
sh = gc.open_by_key('key')
worksheet = sh.sheet1


headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.79 Safari/537.36'
}


# url = 'https://api.chucknorris.io/jokes/random'


url = 'realurl'
req = rq.get(url, verify=False)

soup = BeautifulSoup(req.text, 'html.parser')


# df1 = pd.DataFrame(soup)
dfs = json.loads(str(soup))

for df in dfs:
    print(df)

# pd.set_option("display.max_rows", None)
# pd.set_option("display.max_columns", None)

AddData = [df]
worksheet.append_row(AddData)

进一步更新：

需要明确的是，问题来自将数据推送到 Google 表格。 @Furas 的答案可以打印数据，但与 Gspread 配对时不能打印，如下所示：

import requests
import pandas as pd
import gspread


gc = gspread.service_account(filename='creds.json')
sh = gc.open_by_key('1-1aiGMn2yUWRlh_jnIebcMNs-6phzUNxkktAFH7uY9o')
worksheet = sh.sheet1



url = 'https://api.chucknorris.io/jokes/random'

response = requests.get(url, verify=False)

data = response.json()
# print(data)

df = pd.json_normalize(data)

# print(df)


AddData = [df]
worksheet.append_row(AddData)

我看到的错误是：

Traceback (most recent call last):
  File "c:\Users\JSON-Fetch\FinalTry.py", line 26, in <module>
    worksheet.append_row(AddData)
  File "C:\Python\python3.10.5\lib\site-packages\gspread\worksheet.py", line 1289, in append_row
    return self.append_rows(
  File "C:\Python\python3.10.5\lib\site-packages\gspread\worksheet.py", line 1338, in append_rows
    return self.spreadsheet.values_append(range_label, params, body)
  File "C:\Python\python3.10.5\lib\site-packages\gspread\spreadsheet.py", line 149, in values_append
    r = self.client.request("post", url, params=params, json=body)
  File "C:\Python\python3.10.5\lib\site-packages\gspread\client.py", line 73, in request
    response = getattr(self.session, method)(
  File "C:\Python\python3.10.5\lib\site-packages\requests\sessions.py", line 590, in post
    return self.request('POST', url, data=data, json=json, **kwargs)
  File "C:\Python\python3.10.5\lib\site-packages\google\auth\transport\requests.py", line 549, in request
    response = super(AuthorizedSession, self).request(
  File "C:\Python\python3.10.5\lib\site-packages\requests\sessions.py", line 528, in request
    prep = self.prepare_request(req)
  File "C:\Python\python3.10.5\lib\site-packages\requests\sessions.py", line 456, in prepare_request
    p.prepare(
  File "C:\Python\python3.10.5\lib\site-packages\requests\models.py", line 319, in prepare
    self.prepare_body(data, files, json)
  File "C:\Python\python3.10.5\lib\site-packages\requests\models.py", line 469, in prepare_body
    body = complexjson.dumps(json)
  File "C:\Python\python3.10.5\lib\json\__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "C:\Python\python3.10.5\lib\json\encoder.py", line 199, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "C:\Python\python3.10.5\lib\json\encoder.py", line 257, in iterencode
    return _iterencode(o, 0)
  File "C:\Python\python3.10.5\lib\json\encoder.py", line 179, in default
    raise TypeError(f'Object of type {o.__class__.__name__} '
TypeError: Object of type DataFrame is not JSON serializable

Answer 1

我不明白您为什么为此使用BeautifulSoup 。
它适用于HTML或XML但不适用于JSON或CSV 。

---

如果页面发送JSON数据，那么您只需要

data = req.json()

将其作为 python 字典获取。

如果你想转换为DataFrame那么

df = pd.json_normalize(req.json())

---

import requests
import pandas as pd

url = 'https://api.chucknorris.io/jokes/random'

response = requests.get(url, verify=False)

data = response.json()
print(data)

df = pd.json_normalize(data)
print(df)

---

如果页面发送CSV那么你甚至可以直接使用pandas

df = pd.read_csv(url)

最终您可以使用带有 io.StringIO 的requests在io.StringIO中创建类似文件的 object

import io

response = requests.get(url, ...)

file_like_object = io.StringIO(response.text)

df = pd.read_csv(file_like_object)

但这一切都取决于您没有显示的真正的 url。

---

编辑：

如果你想把它添加到谷歌表格那么你不需要DataFrame但python的字典

data = response.json()

worksheet.append_row([data])

如果 JSON 可能有包含许多项目的列表，那么您可能需要for -loop 将数据放在单独的行中

data = response.json()

for item in data:
    worksheet.append_row([item])

---

如果你真的必须使用pandas然后阅读文档Using gspread with pandas

它可能需要这样的东西

for index, row in df.iterrows():
    worksheet.append_row(row.values.tolist())