如何使用scrapy或selenium刮动态页面？

Question

我试图刮一个网页动态页面但是scrapy ，我没有检索所有信息，因为我想要的信息是动态的。

我尝试使用Selenium但不像Scrapy，你不能指定标题，网站阻止我。 （我无法为网站命名，因为抓取是非法的，但它是一个着名的旅行元搜索引擎......）。 我有一个带有验证码解算器的页面（重新验证码很难用脚本解决）因为网站检测到我是机器人。

我希望拥有所有动态信息并可以访问该网站，但是selenium和scrapy不可能不能提供我想要的所有信息，我认为这是因为当scrapy读取它时页面没有完全加载。

Answer 1

你可以使用硒和美味的汤，你可以刮掉所有的数据。 请按照这样的方式。 https://code.tutsplus.com/tutorials/modern-web-scraping-with-beautifulsoup-and-selenium--cms-30486 。