包含JSP / JS的Python Beautiful Soup抓取页面

Question

我正在尝试从此页面抓取价格：url = https://www.renodepot.com/en/steph-round-base-shower-kit-69375118

价格信息已在span标签中提供，我无法将其抓取。 我为此使用的简单代码是

from requests import get
from bs4 import BeautifulSoup
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
ProductPrice = html_soup.find('div',class_ = 'product_price_wrapper')

但是我认为这什么也没返回

 BEGIN RenoProdDetailPriceSnippet.jsp 

价格div标签正上方显示的信息导致该信息受到保护。

我什至尝试用硒来做，但没有成功。 我尝试了许多其他组合来获取价格，但无法获得相同的价格。

因此，我正在寻找一些解决方案。 谢谢

Answer 1

您无法抓取页面，因为它需要完成reCAPTCHA才能访问。 这是专门用来阻止机器人的程序。

如果检查html_soup您会发现实际上是在搜索reCAPTCHA页面，而不是所需的产品页面。