預安裝火花紗簇

Question

我試圖用紗線制作火花簇。 我需要在所有節點上安裝yarn嗎？ 我知道紗線將運送所有需要的罐子和MR，但要拿走它們，我想工人節點需要紗線包裝。 主節點應安裝HDFS和jar以及yarn。

Answer 1

YARN需要兩個過程

1. 資源經理
2. 節點管理器

資源管理器是委派任務的主體。 節點管理器是負責給定工作的從屬服務器。 您必須在一台計算機（生產級服務器）上安裝資源管理器，並在所有從屬計算機（商品硬件）上安裝節點管理器。

HDFS需要以下過程

1. 名稱節點
2. 數據節點
3. SecondaryName

NameNode和Secondary NameNode將安裝在所有從屬計算機（商品硬件）的兩台單獨的計算機（生產級服務器）和DataNode中。

通常，DataNode和NodeManager將一起安裝在所有從屬節點上。

Answer 2

不確定，您到底想做什么。

由於hadoop 2.0紗線是hadoop不可或缺的一部分。 因此，如果您安裝hadoop，yarn會自動安裝。

使用提供的腳本啟動hadoop時，它們將啟動hadoop堆棧。 然后，您可以使用提供的腳本來啟動yarn。

然后安裝spark，並指向spark以使用hadoop安裝和配置中的庫。

無需深入了解手動安裝紗線的細節。