Requests-html 没有获取所有链接

Question

我正在尝试抓取一个网站，但看起来我无法访问所有链接。 该网站是：

https://www.carrefour.es/supermercado/bebidas/refrescos/colas/cat650010/c?ic_source=portal-y-corporativo&ic_medium=menu-links&ic_content=ns

我遵循的过程是首先识别每个单独的产品，然后获取每个产品的链接。 令我惊讶的是，我可以识别页面中的所有产品，但我只能获得前 8 个产品的链接，尽管其他产品也应该有链接。 我的代码是：

from requests_html import HTMLSession
    
s = HTMLSession()

url = "https://www.carrefour.es/supermercado/bebidas/refrescos/colas/cat650010/c?ic_source=portal-y-corporativo&ic_medium=menu-links&ic_content=ns"
r = s.get(url)

products = r.html.find('ul.product-card-list__list li')


for item in products:
    print(item.find('a', first=True).attrs["href"])

在某些时候我收到以下错误，因为我找不到产品的链接，尽管它存在并且产品似乎已加载：

AttributeError: 'NoneType' object has no attribute 'attrs'

关于问题出在哪里的任何提示？ 非常感谢！！

Answer 1

可能是 js 渲染，您正在使用仅下载 HTML 页面内容。 尝试使用 scrapinghub splash 进行评估，我来自一个网站被封锁且无济于事的国家。