EC2上的Hadoop集群中的按需從屬生成

Question

我計划在EC2上使用Hadoop。 由於我們必須按實例使用量付費，因此擁有固定數量的實例比完成工作所需的實例數量不好。

在我們的應用程序中，許多作業是同時執行的，我們一直都不知道從屬要求。 是否可以使用最少的從屬服務器啟動hadoop集群，然后再根據需要管理可用性？

即按需創建/銷毀奴隸

子問題：hadoop集群可以同時管理多個作業嗎？

謝謝

Answer 1

hadoop中使用的默認調度程序是一個簡單的FIFO，您可以使用FairScheduler進行研究，該程序將群集的份額分配給每個正在運行的作業，並具有廣泛的配置來控制這些份額。

就EC2而言-您可以輕松地從一定數量的節點開始，然后一旦發現隊列中的任務太多並且集群中的所有插槽都被占用-則添加更多它們。 您只需要啟動一個實例並在其上啟動一個任務跟蹤器即可向jobtracker注冊。

但是，您將必須擁有自己的系統來管理這些節點的啟動和關閉。

Answer 2

這似乎很有希望http://hadoop.apache.org/common/docs/r0.17.1/hod.html

Answer 3

只想讓您知道我們正在Apache Whirr中為此做一些工作。 我們正在跟蹤WHIRR-214的進展。 投票或參與開發。 :)