无法从网站上抓取数据：Python BS4

Question

我正在尝试使用BS4和python从该平台上抓取数据。 我尝试了许多方法，但无法检索任何信息。 看起来像是来自API或其他东西的直接响应。 有人可以在正确的方向帮助我吗？

要抓取的数据：

谢谢，

Answer 1

您可以使用Chrome检查器查看页面上正在发出的请求。 该页面正在请求http://data.corkcity.ie/api/3/action/datastore_search

这是使用请求的片段，该请求提取数据并将其输出为json：

import requests 
import json
resp = requests.post(
    "http://data.corkcity.ie/api/3/action/datastore_search",
    headers={'Content-Type': 'application/json'},
    data=json.dumps(
        {
            "resource_id": "6cc1028e-7388-4bc5-95b7-667a59aa76dc",
            "filters": {},
            "limit": 10,
            "offset": 0,
        }
    ),
)
resp.json()