Apache Httpclient和Cloud

Question

我想使用Apache HttpClient将一个抓取服务放到云端。 我读过Google App Engine可能会遇到的问题，因为它禁止直接网络访问和创建线程。 什么是其他云托管服务提供商？ 有没有人体验过Apache HttpClient +云？

Answer 1

AppEngine具有线程和直接网络访问 （仅限HTTP）。 有一种解决方法可以使它与HttpClient一起使用 。

此外，如果您计划并行使用许多解析任务，则可以查看任务队列甚至mapreduce 。

顺便说一句，GAE中存在一个“错误”，你无法在你的请求中完全设置自定义用户代理标题 - GAE总是在其末尾添加“AppEngine”（这会打破对某些网站的请求 - 最明显的是iTunes）。

Answer 2

从CloudFoundry创建线程和访问其他网站当然是可能的，每个进程的时间有限。 例如，如果您查看http://rack-scrape.cloudfoundry.com/ ，它是一个简单的机架应用程序，用于检查来自Google.com的“a”标签;

require 'rubygems'
require 'open-uri'
require 'hpricot'

run Proc.new { |env| 

  doc = Hpricot(open("http://www.google.com"))
  anchors = (doc/"a")

  [200, {"Content-Type" => "text/html"}, [anchors.inspect]]
}

至于Apache HttpClient，我没有这方面的经验，但我知道它不再维护。