单击选项列表以使用 Scrapy (Python) 抓取数据
[英]Click a option list to scrape data using Scrapy (Python)
问题描述
这是我试图从中抓取数据的页面链接。 有一个选项列表，可以在单击需要抓取的选项时更改下面的数据。
https://www.qgold.com/Series/106060
我正在使用 scrapy-splash 和疲倦的不同解决方案，主要是使用 splash mouse_click，但没有一个有效。 大多数解决方案都是点击一个按钮，但这里我有一个列表。 所以我不确定如何捕获列表中的选项以使用启动鼠标单击。
这是我需要点击的选项列表的图片：
1 个解决方案
解决方案1
0 2020-08-03 11:54:42
找到了至少可以帮助您的东西。 首先，您检查 chrome 中的页面，单击“网络”选项卡。 然后单击页面上的过滤器按钮。
您会看到一个 POST 请求被发送到https://www.qgold.com/ProductDetail/GetProductPlus ，其格式为 form-data: style: 10K5RR-18 。 所以 10K5RR 是该子产品的某种标识符。
该请求得到包含该子产品所有详细信息的响应
从包含在scrapy python中的javascript的div通过xpath抓取数据
[英]scrape data through xpath from div that contains javascript in scrapy python
如何使用python / scrapy抓取网站上的窗口小部件的输出？
[英]How to scrape the output of widgets on a website using python/scrapy?
如何使用 Scrapy 从网站抓取 JavaScript 呈现的数据？
[英]How to scrape JavaScript rendered data from a website using Scrapy?
是否可以触发 Google Maps api 的 JavaScript 点击监听器，然后通过使用 Python 抓取数据？
[英]Is it possible to trigger Google Maps api's JavaScript click listener then scrape the data via using Python?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
（Python）Scrapy-如何抓取JS下拉列表？
无法使用 Scrapy 从下拉列表中抓取
如何抓取动态网站-使用python scrapy？
使用 scrapy 抓取数据的动态网页
使用 Python Selenium 在下拉列表中单击选项
从包含在scrapy python中的javascript的div通过xpath抓取数据
如何使用python / scrapy抓取网站上的窗口小部件的输出？
如何使用 Scrapy 从网站抓取 JavaScript 呈现的数据？
是否可以触发 Google Maps api 的 JavaScript 点击监听器，然后通过使用 Python 抓取数据？
如何使用python抓取JavaScript生成的数据
相关标签