如何：火花纱簇

Question

我已经建立了一个包含3台机器的hadoop集群，其中1台是主服务器，2台是从服务器

SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true sbt/sbt clean assembly

添加了HADOOP_CONF_DIR = / usr / local / hadoop / etc / hadoop spark-env.sh

 Then i ran SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop ./bin/spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi --num-executors 3 --driver-memory 4g --executor-memory 2g --executor-cores 1 examples/target/scala-2.10/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar

我检查了localhost：8088，发现应用程序SparkPi正在运行。

仅仅是这样还是我应该在2台从属计算机中安装spark ..如何启动所有计算机？

是否有任何帮助文档..我觉得我缺少一些东西..

在独立的Spark中，我们开始了master和worker ./bin/spark-class org.apache.spark.deploy.worker.Worker spark：// IP：PORT

在这种情况下，我也想知道如何让多个人运行

我知道我们可以在conf / slave中配置slave，但是任何人都可以分享一个例子

请帮我卡住

Answer 1

假设您使用的是Spark 1.1.0，如文档（ http://spark.apache.org/docs/1.1.0/submitting-applications.html#master-urls ）中所述，您可以使用master参数使用值yarn-cluster或yarn-client 。 在这种情况下，您不需要使用deploy-mode参数。

您不必在所有YARN节点上都安装Spark。 这就是YARN的目的：在Hadoop集群上分发您的应用程序（在本例中为Spark）。