創建集群時，如何在Amazon的EMR核心/工作人員節點/實例上安裝Spark？

Question

我正在嘗試使用Spark（1.6.0）和Hadoop（發行版：Amazon 2.7.1）應用程序啟動EMR集群。 發行標簽為emr-4.4.0 。 群集根據需要進行設置，但是它沒有作為守護進程運行Spark master（在master實例中），而且我也找不到在工作實例（核心）實例中安裝的Spark（ / usr / lib /下的Spark目錄具有只是lib和yarn目錄）。

群集建立后，我想立即運行Spark主節點和輔助節點。 （即，工作人員自動連接到主服務器並成為Spark集群的一部分）。

我該如何實現？ 還是我錯過了什么？

提前致謝！

Answer 1

EMR上的Spark以YARN模式安裝。 這就是為什么您看不到獨立的主控和從屬守護程序的原因。 http://spark.apache.org/docs/latest/running-on-yarn.html

獨立Spark主守護程序和輔助守護程序僅在Spark獨立模式下生成。 http://spark.apache.org/docs/latest/spark-standalone.html

現在，如果您確實想在EMR上運行spark master和worker，則可以使用

/usr/lib/spark/sbin/start-master.sh
/usr/lib/spark/sbin/start-slave.sh 

並進行相應的配置。