web 使用下拉菜單抓取數據並單擊獲取顯示表的按鈕

Question

我對 web 刮擦完全陌生，從未使用過它，現在我正在進行作物產量分析，因為我需要獲取該站點上提供的氣候信息數據https://www.indiawaterportal.org/met_data/需要 select 下拉菜單中的某個選項，然后單擊頁面上顯示的按鈕，這將獲取顯示的表格和圖形，我可以像 csv 或 ZBF57C906FA7D2BB66D07372E41585 一樣下載該表格，但需要所有數據格式，數量巨大，我無法為每個 state 和每種數據類型手動執行此操作，有沒有辦法獲取多個 CSV 文件中的所有信息（一個 CSV 給定時間間隔的文件）

Answer 1

每個<select> （州、區等）都包含值列表。 一旦用戶做出選擇，URL 到 csv 就組成了。

例子：

https://www.indiawaterportal.org/met_data/data/csv/18/8/1/1901/1903/annual_totals

• 18：state代碼
• 8：區號
• 1：數據類型
• 1901：從
• 1903：到
• 年度總計：顯示什么

您所要做的就是“抓取” <select>的數據並根據<option>值組合所有可能的 url。

請注意，區域<select>是根據 state 選擇動態構建的。 例子：

https://www.indiawaterportal.org/met_data/index.php?/data/state/22

應該返回 state '22' 的地區