使用JSoup進行數據收集？

Question

我想通過網絡抓取從該網站獲取數據。 http://www.upmandiparishad.in/commodityWiseAll.aspx

我以前使用過JSoup來訪問更多靜態HTML網站，但是這對我來說很難，因為在獲得網站上的HTML表之前，必須先單擊一個按鈕，而且我不知道是否可以使用JSoup來操縱按鈕。

單擊此按鈕后，我得到一個HTML表。

那么我該如何實現呢？

提前致謝

Answer 1

看來您已經將JSoup用作html解析器，而不是用作請求/響應處理程序。 我給您兩個選擇：

選項1：

• 找出按下按鈕時發生的情況。 按鈕通常只是一個POST請求，因此獲取該POST請求的信息（Google chrome開發工具是您的朋友）。
• 使用JSoup Connect接口模擬POST（檢查POST方法）
• 眾所周知，使用JSoup解析html代碼

選項2：

• 使用適當的工具來處理瀏覽器實例（例如Selenium Webdriver ）並執行您想要在網頁中執行的任何操作（填寫表格，提交...）。
• 進入所需的網頁后，獲取html代碼並將其與JSoup結合使用以提取信息。

祝好運！

Answer 2

假設該頁面有許多輸入標簽，例如文本輸入和密碼，我想您知道這一點。 現在，您必須傳遞將操縱按鈕的data（“ name here”，“ value here”）。post（）。

示例：假設這是html代碼<INPUT TYPE=SUBMIT NAME="submit" VALUE="SUBMIT" ALIGN = "center">

那么這將是您的自動化命令！

Jsoup.connect("<url here>").userAgent("Chrome").data("submit","SUBMIT").post();