Spark無法在紗線群集模式下運行

Question

我試圖在紗線集群上執行我的代碼

我正在使用的命令是

$SPARK_HOME/bin/spark-submit \
    --class "MyApp" \
    target/scala-2.10/my-application_2.10-1.0.jar \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 6g \
    --executor-memory 7g \
    <outputPath>

但是，我可以看到該程序僅在localhost上運行。

它能夠從hdfs讀取文件。

我在獨立模式下嘗試了這個，它工作正常。

請說明哪里出錯了。

Answer 1

我正在使用Hadoop2.4和Spark 1.1.0。 我能夠讓它在集群模式下運行。

為了解決這個問題，我們只需從所有從屬節點中刪除所有配置文件。 之前我們在獨立模式下運行，導致所有從站上的配置重復。 完成后，它在群集模式下按預期運行。 雖然性能不符合獨立模式。

謝謝。