JSON 响应被截断

Question

你好

我正在尝试从网站上抓取一些数据，这些数据显示在图表中（数据是多年来的货币价格）

我能够获得 XHR 请求和 JSON 数据的 API 链接，但是当我在（.network 选项卡或新选项卡中）打开响应时，数据未完全显示，但在图表中显示了数据。

api 链接

1. 搜索了这个问题，我发现这篇文章说开发工具截断了 long.network 响应我尝试了解决方案，但同样的问题仍然存在。

2. 尝试使用wget下载它们，但没有帮助出现同样的问题。

我在 Brave 浏览器的单独选项卡中打开链接（也尝试过 Firefox）我不知道有什么问题你能帮帮我吗？！

Answer 1

您可以像下面这样抓取 API 端点（使用 Python）：

import requests
import pandas as pd

pd.set_option('display.max_columns', None, 'display.max_colwidth', None)

headers = {
    'content-type': 'application/json',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}

r = requests.get('https://sy-exchange-rates-iwi3arxhhq-uc.a.run.app/api/rates?from=Thu,%2031%20Mar%202011%2021:00:00%20GMT&to=Mon,%2023%20Jan%202023%2002:03:23%20GMT&name=USD&source=liranews.info,sp-today.com,dei-sy.com&city=damascus', headers=headers)

df = pd.json_normalize(r.json())
print(df)

终端结果：

    timestamp   source  city    name    buy sell
0   2021-01-03T07:00:00Z    sp-today.com    damascus    USD 2855    2880
1   2021-01-03T07:00:00Z    liranews.info   damascus    USD 2855    2880
2   2021-01-03T07:00:00Z    dei-sy.com  damascus    USD 2845    2855
3   2021-01-03T08:00:00Z    sp-today.com    damascus    USD 2855    2880
4   2021-01-03T08:00:00Z    liranews.info   damascus    USD 2855    2880
... ... ... ... ... ... ...
50772   2023-01-22T22:00:00Z    liranews.info   damascus    USD 6625    6685
50773   2023-01-22T23:00:00Z    sp-today.com    damascus    USD 6625    6685
50774   2023-01-22T23:00:00Z    liranews.info   damascus    USD 6625    6685
50775   2023-01-23T01:00:00Z    sp-today.com    damascus    USD 6625    6685
50776   2023-01-23T01:00:00Z    liranews.info   damascus    USD 6625    6685
50777 rows × 6 columns