Hadoop MapReduce 作業在 launch_container.sh 中失敗

Question

MapReduce 作業失敗並出現以下錯誤，即使設置了 JAVA_HOME。

/bin/bash: /bin/java: No such file or directory

我正在嘗試在我的 Mac M1 上設置 hadoop (3.3.4)。 我在 /etc/hadoop/hadoop-env.sh 中設置了 JAVA_HOME

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_351.jdk/Contents/Home

我能夠將文件添加到 HDFS 但在運行示例 MapReduce 作業時 - hadoop-mapreduce-examples-3.3.4.jar 字數或任何其他 MapReduce 作業我在 launch_container.sh 中收到以下錯誤，

[2022-12-09 20:39:39.415]Container exited with a non-zero exit code 127. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
/bin/bash: /bin/java: No such file or directory

我懷疑以下行失敗並且 JAVA_HOME 變空了。

launch_container.sh

exec /bin/bash -c "$JAVA_HOME/bin/java -Djava.io.tmpdir=$PWD/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/homebrew/Cellar/hadoop/3.3.4/libexec/logs/userlogs/application_1670596645240_0001/container_1670596645240_0001_01_000001 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog  -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1>/opt/homebrew/Cellar/hadoop/3.3.4/libexec/logs/userlogs/application_1670596645240_0001/container_1670596645240_0001_01_000001/stdout 2>/opt/homebrew/Cellar/hadoop/3.3.4/libexec/logs/userlogs/application_1670596645240_0001/container_1670596645240_0001_01_000001/stderr "

但是 JAVA_HOME 設置在所有這些地方

hadoop-env.sh 
~/.bash_profile 
~/.zprofile

我嘗試重新安裝 hadoop 3-4 次，但每次都卡在這里。 大多數其他解決方案都說在 hadoop-env.sh 中設置 JAVA_HOME，但它已經設置在那里了。

任何幫助將不勝感激，謝謝。

Answer 1

它在 yarn-site.xml 中評論yarn.nodemanager.env-whitelist屬性后起作用

<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    </value>
</property>

Answer 2

不要包含值

你應該在yarn-site.xml中這樣寫

  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>