使用ruby机械化刮aspx站点时出错。 机械化:: ResponseCodeError：404 => Net :: HTTPNotFound

Question

我正在尝试使用Ruby的机械化方法来刮除评级网站，并遇到了很多麻烦。 我的代码很简单：

require "mechanize"
@client.get("http://cape.ucsd.edu/responses/Results.aspx")

届时，您将看到404错误。

我尝试了一些事情，包括HTTParty搜索重定向； 禁用SSL检查； 甚至将html文件保存在本地（以获取正确的查询表单），然后尝试直接从连接到主站点的代理发出该文件。 所有这些导致相同的错误。

我对抓取还很陌生，希望自己做的事很傻。 任何帮助，将不胜感激。

Answer 1

是的，它是用户代理。 要设置用户代理，请执行以下操作：

@client = Mechanize.new
@client.user_agent = 'Mozilla'