Scrapy：如何抓取從下拉列表中選擇的多個網頁

Question

我將如何在一個網站的多個頁面上進行抓取，這些頁面在一個下拉菜單和一個帶有抓取的按鈕中導航？ 我知道如何通過找到指向當前頁面下一頁的鏈接來進行分頁，但是對於這種情況不能使用相同的技術。

我想到的一個想法是找到下一個下拉選項的值，並將URL更改為直接指向相應頁面。 這將是一個有效的解決方案嗎？

這是一個示例： http : //highschoolsports.nj.com/football/standings/?grouping=15764

Answer 1

首先，訪問有關團隊的頁面之一。 例如GMC Blue，然后從下拉選擇中獲取所有value s。

 <option value="">Select a Conference - Division</option>
 <option value="15764" selected="selected">GMC - Blue</option>
 <option value="15767">GMC - Red</option>
 <option value="15713">GMC - White</option>
 <option value="18380">Independent</option>
 <option value="15773">Mid-State 38 - Delaware</option>
 <option value="15854">Mid-State 38 - Mountain</option>
 <option value="15824">Mid-State 38 - Raritan</option>
  ....

http://highschoolsports.nj.com/football/standings/?grouping=18380創建一個for循環並在每個請求中更改分組的值。