设置HADOOP_CONF_DIR后，spark-submit返回“找不到文件”
[英]spark-submit returning 'file not found after setting HADOOP_CONF_DIR
问题描述
每当尝试在带有词组--master yarn的emr集群上使用spark-submit时，我都会收到错误消息，提示必须设置HADOOP_CONF_DIR或YARN_CONF_DIR。
将HADOOP_CONF_DIR设置为/ etc / hadoop之后，我得到以下异常：
Diagnostics: java.io.FileNotFoundException: File file:/home/hadoop/sample_code/spark4.py does not exist
为了找到正确的文件，我是否需要填充YARN_CONF_DIR或HADOOP_CONF_DIR的特定内容？
0 个解决方案
导出HADOOP_CONF_DIR = $ HADOOP_INSTALL：etc / hadoop /
[英]export HADOOP_CONF_DIR=$HADOOP_INSTALL:etc/hadoop/
HADOOP_CONF_DIR已经设置仍然出现错误，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR
[英]HADOOP_CONF_DIR already set still getting error, HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
例外：java.lang.Exception：当使用master'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中
[英]Exception: java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. in spark
当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR
[英]When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
Java 异常：当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR
[英]Java exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
为什么Hive首先在HADOOP_CONF_DIR中搜索其配置文件？
[英]Why Hive will search its configuration profile in HADOOP_CONF_DIR first?
如何处理从客户端到远程 hdfs 目录的 HADOOP_CONF_DIR 文件（yarn-site.xml，...）
[英]how to address HADOOP_CONF_DIR files(yarn-site.xml, ...) from client to remote hdfs directory
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark提交YARN模式HADOOP_CONF_DIR内容
Spark如何处理HADOOP_CONF_DIR？
在python pydoop程序中找不到HADOOP_CONF_DIR错误
导出HADOOP_CONF_DIR = $ HADOOP_INSTALL：etc / hadoop /
HADOOP_CONF_DIR已经设置仍然出现错误，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR
例外：java.lang.Exception：当使用master'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中
当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR
Java 异常：当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR
为什么Hive首先在HADOOP_CONF_DIR中搜索其配置文件？
如何处理从客户端到远程 hdfs 目录的 HADOOP_CONF_DIR 文件（yarn-site.xml，...）
相关标签