Scrapy JSON獲得價值

Question

通過此鏈接，我嘗試在每個實例之后獲取以下數據，該數據將是100個數據集

contributor-limited-meta":{"data":{"id":"4103089"

預期結果將是：

768919、4103089、193246966、976367、508762等

我已經通過scrapy shell嘗試了response.xpath('//script').re(r'author":"([0-9.]+?)"') ，但我無法使其正常工作。

Answer 1

您可以使用請求，然后從響應中使用json並在循環中提取

import requests
res = requests.get('https://www.shutterstock.com/sstk/api/footage/images/search?site=image&image_type=vector&q=&page%5Bnumber%5D=1&studio=1&include=contributor-limited-meta').json()
results  = []
for item in res['data']:
    id = item['relationships']['contributor-limited-meta']['data']['id']
    results.append(id)
print(results)

與scrapy使用json

jsonres = json.loads(response.body_as_unicode()