Spark-yarn以错误exitCode = 16结尾，如何解决？

Question

我正在使用Apache Spark 2.0.0和Apache Hadoop 2.6.0。 我正在尝试在hadoop集群上运行我的spark应用程序。

我使用了以下命令行：

bin/spark-submit --class org.JavaWordCount \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 512m \
    --queue default \
    /opt/JavaWordCount.jar  \
    10

但是，Yarn以exictCode = 16错误结束：

17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: yarn.client.max-cached-nodemanagers-proxies : 0
17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: Opening proxy : hmaster:59600
17/01/25 11:05:49 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL TERM
17/01/25 11:05:49 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 16, (reason: Shutdown hook called before final status was reported.)
17/01/25 11:05:49 INFO storage.DiskBlockManager: Shutdown hook called

我试图通过本主题解决此问题，但没有给出实用的答案。

有谁知道如何解决这个问题？

提前致谢

Answer 1

刚遇到这个问题。 JVM正在使用过多的内存。 尝试添加属性

  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>

在所有节点管理器的yarn-site.xml中，然后重新启动。 对我有用

请参阅： https : //issues.apache.org/jira/browse/YARN-4714