Scrapy：如何抓取从下拉列表中选择的多个网页

Question

我将如何在一个网站的多个页面上进行抓取，这些页面在一个下拉菜单和一个带有抓取的按钮中导航？ 我知道如何通过找到指向当前页面下一页的链接来进行分页，但是对于这种情况不能使用相同的技术。

我想到的一个想法是找到下一个下拉选项的值，并将URL更改为直接指向相应页面。 这将是一个有效的解决方案吗？

这是一个示例： http : //highschoolsports.nj.com/football/standings/?grouping=15764

Answer 1

首先，访问有关团队的页面之一。 例如GMC Blue，然后从下拉选择中获取所有value s。

 <option value="">Select a Conference - Division</option>
 <option value="15764" selected="selected">GMC - Blue</option>
 <option value="15767">GMC - Red</option>
 <option value="15713">GMC - White</option>
 <option value="18380">Independent</option>
 <option value="15773">Mid-State 38 - Delaware</option>
 <option value="15854">Mid-State 38 - Mountain</option>
 <option value="15824">Mid-State 38 - Raritan</option>
  ....

http://highschoolsports.nj.com/football/standings/?grouping=18380创建一个for循环并在每个请求中更改分组的值。