使用ruby的open-uri访问特定站点时出现503错误

Question

我一直在使用下面的代码来爬网一个网站，但是我想我可能爬得太多了，因此完全禁止自己访问该网站。 同样，我仍然可以在浏览器上访问该站点，但是任何涉及open-uri的代码以及该站点都会引发503站点不可用错误。 我认为这是特定于站点的，因为open-uri仍然可以与Google和Facebook一起正常工作。 有没有解决方法？

require 'rubygems'
require 'hpricot'
require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(open("http://www.quora.com/What-is-the-best-way-to-get-ove$

topic = doc.at('span a.topic_name span').content
puts topic

Answer 1

有解决方法，但是最好的办法是根据其条件成为好公民。 您可能要确认您正在遵守他们的服务条款 ：

如果您操作搜索引擎或机器人，或者重新发布了所有Quora内容的很大一部分（我们可能会酌情决定），则必须另外遵守以下规则：

• 您必须使用描述性的用户代理标头。
• 您必须始终遵循robots.txt。
• 您必须使用用户代理字符串或网站（如果有的话）明确说明如何与您联系。

您可以使用OpenURI轻松设置用户代理标头：

Additional header fields can be specified by an optional hash argument.

  open("http://www.ruby-lang.org/en/",
    "User-Agent" => "Ruby/#{RUBY_VERSION}",
    "From" => "foo@bar.invalid",
    "Referer" => "http://www.ruby-lang.org/") {|f|
    # ...
  }

可以从http://www.quora.com/robots.txt检索Robots.txt。 您需要解析它并遵守其设置，否则它们将再次禁止您。

另外，您可能希望通过在循环之间休眠来限制代码的速度。

另外，如果您正在为其网站搜寻内容，则可能需要查看本地缓存页面，或使用其中一个搜寻包。 写蜘蛛很容易。 编写一个可以很好地与网站打交道但要比完全无法扩展其网站更好的工作。