在Google App Engine上運行hadoop？

Question

是否可以在Google App Engine上運行map reduce作業？

任何參考或教程都將有所幫助

謝謝

Answer 1

有點。

您無法使用實際的MapReduce框架-該架構與AppEngine太不兼容。

但是，有專門為GAE構建的等效系統-appengine -mapreduce 。 該站點有點混亂，因為該代碼的第一個版本僅支持映射器，而沒有隨后的減少步驟-最近，他們發布了具有完全mapreduce支持的版本，但是某些文檔仍然引用了早期的僅映射器。

最好的介紹是Mike Aizatskyi的Google IO 演講 。

Answer 2

以下是完整的文檔： https : //developers.google.com/appengine/docs/python/dataprocessing/overview

Answer 3

看到此Google Cloud Platform廣告：
Google Compute Engine虛擬機上的Hadoop
https://cloud.google.com/solutions/hadoop

Answer 4

您無法在Appengine上運行Hadoop（也沒有文件系統訪問權限）。

您可能要檢查AWS ElasticMapreduce。 它是一個用於運行Mapreduce作業的基於雲的平台。

ElasticMapreduce