安裝和部署CDH

Question

我有一個4節點的集群，並且正在探索Cloudera，以便執行TPCH Benchmark，例如Spark，Hive，Impala等。 我的群集節點是合理的，具有4核的cpu，8GB的RAM和250GB的磁盤。

我正在嘗試通過Web UI正確安裝CDH 5，一切運行正常，無法安裝多個工具，始終保持安裝程序建議的默認角色/工具分發，問題是安裝結束時我總是會遇到一些健康問題和警告！

我認為它的主要部分與ram有關，並且大多數警告都是通過增加內存來增加節點組​​件（如堆大小等）上的內存，這導致出現警告“內存閾值過量使用”，我不知道它是否更好忽略那些those屈或跟隨。 即使所有不良的健康警告，我也將所有經過匯總的更改都應用了，並將數據加載到配置單元中以開始執行一些查詢，但是在某些情況下，我只是在啟動地圖減少工作時被卡住了！

誰能提供一些可能的解決方案/建議？ 在此先感謝您，並感謝您的長時間發帖！

Answer 1

通常，您可以忽略內存過量使用的錯誤，因為大多數Java應用程序僅使用其實際堆大小的一小部分。 但是，正如cricket_007和Samson Scharfrichter所指出的那樣，您的設置非常小。

http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/建議：

以下是平衡的Hadoop群集中DataNode / TaskTrackers的建議規范：

JBOD（僅一堆磁盤）配置中的12-24個1-4TB硬盤2個四核/十六進制/八核CPU，運行至少2-2.5GHz 64-512GB RAM鍵合千兆以太網或10G千兆以太網（存儲密度越高，所需的網絡吞吐量就越高）

您的工作被卡住的最可能原因是缺少內核。 查看YARN Web UI，查看您有多少個vcore。 如果您的人數少（5歲以下），您的工作將缺少運行任何工作負載所需的插槽。 對於您的集群，您可以允許每個節點3個vcore，以便至少為您提供12個vcore。 Vcore不是CPU，您應該將vcore視為映射器/化簡器任務或應用程序主控器的插槽。 每個vcore至少需要512MB內存（您必須考慮JVM）。

請參閱https://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/ ，以更全面地了解vcore和基本設置。

其他顯而易見的事情是關閉不需要的服務，並為所需的服務縮減堆大小，以釋放內存用於實際工作負載。