Python requests-HTML 库有时不起作用

Question

定义<\/h2>

我正在使用 requests_html 库从网站上抓取。 我写的get_product_info(url: str) -> dict<\/code>方法返回页面上的产品名称、价格和产品的 url。

问题<\/h2>

我注意到，当我使用相同的 url 多次运行该函数时，它并不总是返回结果。

例子<\/h4>

<\/a>

究竟是什么问题？

代码<\/h2>

from requests_html import HTMLSession session = HTMLSession() sub_cat2_link = 'https:\/\/www.sokmarket.com.tr\/bulasik-c-1442' def get_product_info(url: str) -> dict: r2 = session.get(url) r2.html.render() product_names = [item.text for item in r2.html.find('main.listing-results strong')] product_prices = [item.text for item in r2.html.find('main.listing-results div.pricetag')] product_links = [MAIN_URL + item.links.pop() for item in r2.html.find('main.listing-results a.productbox-wrap')] return {"prod": product_names, "price": product_prices, "prod_link": product_links} result = get_product_info(sub_cat2_link) print(result)<\/code><\/pre>"

Answer 1

我遇到了同样的问题。 我最终重试了渲染，到目前为止它对我有用。

for attempt in range(3):
    try:
        r2.html.render()
        #do something
    except:
        time.sleep(5) # not sure if this is needed
        print(attempt)
    else: 
        break
else:
     print('all attempts failed')