hadoop集群中Zookeeper的硬件推薦

Question

我有一個輕量級的Hadoop環境：

2個名稱節點（作業跟蹤器/ HBase主節點）+ 3個數據節點（任務跟蹤器/ HBase區域）

它們都像兩個四核CPU + 16-24G內存+總共15T

我想知道如果我要去3個動物園管理員，動物園管理員會看到什么樣的服務器規格？ 誰能分享一些經驗？

Answer 1

從HBase的角度來看-

給每個ZooKeeper服務器大約1GB的RAM，如果可能，為其提供專用磁盤（最好使用專用磁盤來確保ZooKeeper性能良好）。 對於負載非常重的群集，請在與RegionServer（DataNode和TaskTrackers）不同的機器上運行ZooKeeper服務器。

-應將專用磁盤配置為隨着事務日志增長而存儲快照。

-需要足夠的RAM，以便它不會交換。