使用ruby機械化刮aspx站點時出錯。 機械化:: ResponseCodeError：404 => Net :: HTTPNotFound

Question

我正在嘗試使用Ruby的機械化方法來刮除評級網站，並遇到了很多麻煩。 我的代碼很簡單：

require "mechanize"
@client.get("http://cape.ucsd.edu/responses/Results.aspx")

屆時，您將看到404錯誤。

我嘗試了一些事情，包括HTTParty搜索重定向； 禁用SSL檢查； 甚至將html文件保存在本地（以獲取正確的查詢表單），然后嘗試直接從連接到主站點的代理發出該文件。 所有這些導致相同的錯誤。

我對抓取還很陌生，希望自己做的事很傻。 任何幫助，將不勝感激。

Answer 1

是的，它是用戶代理。 要設置用戶代理，請執行以下操作：

@client = Mechanize.new
@client.user_agent = 'Mozilla'