是否有任何工具可以查找hadoop集群通常在一天的什么時間沒有負載並每天在該時間提交作業
[英]Is there any tool to find at what time of the day hadoop cluster is usually free from load and submit job at that time daily
問題描述
我需要在生產集群中安排工作，我試圖根據過去30天的集群負載情況來安排集群在空閑時的計划.Oozie沒有任何功能可以支持此工作我正在嘗試使用oozie中的一些技巧來實現這一目標。
有什么標准的方法可以找到過去幾天通常什么時候集群免費？ 並在每天的那個時間自動提交工作。
2 個解決方案
解決方案1
1 2013-06-01 03:09:01
Linkedin白象似乎是您想要的人。 Ganglia有相當不錯的API，可以用來衡量集群的使用情況。
解決方案2
0 2013-06-12 15:14:17
您可以使用Cloudera Manager來檢查整個群集的運行狀況（如果使用的是CDH）。
有可交互的Cloudera Manager API。 您也可以查看它以解決問題。
http://blog.cloudera.com/blog/2012/09/automating-your-cluster-with-cloudera-manager-api/
從Web應用程序（servlet）在遠程Hadoop集群上提交Hadoop作業
[英]Submitting Hadoop Job on remote Hadoop cluster from web application (servlet)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.