Hadoop集群：更大的節點或更多的節點

Question

一個簡單的問題：讓更多的節點拆分資源還是減少“更堅固”的節點是否更可取？

Answer 1

好吧，我這個簡單的問題實際上並沒有一個簡單的答案:)取決於您的用例。

如果您有一個容易分解的問題，那么我想應該有更多的節點。 基本分而治之。

但是，如果您的問題不容易分解，那么剩下的唯一選擇就是減少更堅固的節點。

通常，Hadoop用於解決前一種問題。

我希望這有幫助。 如果您能給我們更多細節，我想我們應該可以提供更好的幫助。

Answer 2

這是可靠性，復制與總體性能的關系。

假設在具有X_1個節點的集群和具有X_2個節點的集群中均勻分布固定數量的磁盤，CPU和RAM，則X_1 <X_2然后：

• 如果所有節點都保持工作，作業將在X_1上運行得更快
• 如果節點在作業過程中死亡，則X_2集群上的剩余資源可能會超過X_1集群的資源。 如果X_1僅是1或2個節點，則更容易想象示例。 在這種情況下，額外的凈IO成本可能小於資源損失，因此作業可以在X_2上更快地運行
• 如果復制因子明顯受群集大小限制，則如果要復制3，則將需要3個節點。