如何網頁抓取自動完成文本字段

Question

我正在嘗試填寫網站表單（compareraja.in）以使用 java 搜索和比較手機。 我目前正在使用 jaunt 庫，但我不知道如何填充自動完成文本字段，我想要的是在將某些首字母應用於文本字段后從自動完成列表中選擇特定項目。 是否可以使用 jsoup 或 jaunt 或 htmlunit 或任何其他庫？

如果是，哪個是最好和最簡單的選擇？ 還有怎么辦？

Answer 1

我的線索是，首先您必須檢索在您應用某些字母后出現的整個自動完成列表。 如果您在如Chrome瀏覽器打開網頁，進入開發者工具F12，網絡標簽，然后你會看到，每次鍵入文本字段字母，對應的X毫升水TTP [R eQUEST的列表記錄。

例如，我輸入了“htc”：

在 Network 選項卡上，最后一個 XHR Header 部分包含所有必要的查詢參數：

響應部分顯示接收到的數據，這些數據實際上顯示在該自動完成列表中：

因此，您可以將 GET XHR 設為 URL http://www.compareraja.in/autocompletedata.ashx?q=htc+&c=mobiles&limit=150 （您甚至可以單擊此鏈接或將其粘貼到瀏覽器的地址行進行測試)，您的 URL 編碼的首字母應放置在其中而不是htc+ 。 它對我來說沒有timestamp參數就可以正常工作。

之后很容易解析響應，通過\\n和;分割文本; 字符，並用所選項目填充文本字段。