Spark-yarn以錯誤exitCode = 16結尾，如何解決？

Question

我正在使用Apache Spark 2.0.0和Apache Hadoop 2.6.0。 我正在嘗試在hadoop集群上運行我的spark應用程序。

我使用了以下命令行：

bin/spark-submit --class org.JavaWordCount \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 512m \
    --queue default \
    /opt/JavaWordCount.jar  \
    10

但是，Yarn以exictCode = 16錯誤結束：

17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: yarn.client.max-cached-nodemanagers-proxies : 0
17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: Opening proxy : hmaster:59600
17/01/25 11:05:49 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL TERM
17/01/25 11:05:49 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 16, (reason: Shutdown hook called before final status was reported.)
17/01/25 11:05:49 INFO storage.DiskBlockManager: Shutdown hook called

我試圖通過本主題解決此問題，但沒有給出實用的答案。

有誰知道如何解決這個問題？

提前致謝

Answer 1

剛遇到這個問題。 JVM正在使用過多的內存。 嘗試添加屬性

  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>

在所有節點管理器的yarn-site.xml中，然后重新啟動。 對我有用

請參閱： https : //issues.apache.org/jira/browse/YARN-4714