在不在表單中的表單上使用 ruby​​ mechanize<form> 標簽？

Question

因此，我正在嘗試抓取一個網站，該網站具有我認為的表單 - 幾個專門用於搜索的輸入，例如 <select> 和文本輸入 - 不在 <form> 標簽內。
相反，它們似乎被分組在 <div> 中。

該站點從那里使用 JavaScript 查詢，所以基本上我想做的就是填寫“表單”（各種輸入），然后點擊提交按鈕並安全返回信息。

但是，我找不到一種機械化方法來抓取不在表單中的按鈕、選擇等。 有辦法嗎？

Answer 1

Mechanize 不能在 JS 交互式網站上工作。

對於網頁抓取，我建議使用 Kimurai 框架。 它建立在機械化之上。

Kimurai 是一個用 Ruby 編寫的現代網絡抓取框架，它可以與 Headless Chromium/Firefox、PhantomJS 或簡單的 HTTP 請求一起開箱即用，並允許抓取 JavaScript 呈現的網站並與之交互。

在抓取.js文件時使用任何可用的JS 引擎。

您可以執行觸發事件以顯示表單的 JS，然后您可以使用水豚助手填寫表單並提交

Capybara 的所有功能：使用 click_on、fill_in、select、choose、set、go_back 等方法來