spark-submit 在集群模式下失败，错误 13，pyspark 作业的权限被拒绝

Question

我们在附带默认 python 2.7 的 RHEL 7 机器上安装了 cloudera CDH 6.2。 在虚拟环境中使用 python 3.7 提交 pyspark 作业。 带有 --master local 和 --deploy-mode 客户端的客户端模式运行良好。 但是， --master yarn 和 --deploy-mode 集群存在问题。

这个命令spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark --conf spark.executorEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark sample.py失败，出现以下 2 个错误

案例 1 错误日志：--deploy-mode cluster

Cannot run program "/home/user/R1_I5/bin/python": error=13, Permission denied详细日志： https://drive.google.com/file/d/1J7HLNGABnStJ91ISHFBMdNe5OLEUQZ6B/view

案例 2 错误日志：--master yarn

以下 2 行重复，程序没有终止

INFO yarn.Client: Application report for application_1594339922772_0012 (state: ACCEPTED)
INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all

Answer 1

1. 您需要检查目录“hdfs://dwh:8020/user//.sparkStaging/application_1594339922772_0011”的权限，并查看与您一起运行程序的用户是否有权访问它。 正确的方法是在 'hdfs://dwh:8020/user/username 下创建一个 'username' 目录并运行它。
2. 检查主机的主机名，这里的问题是它试图连接到配置中提到的主机但无法找到它。 你可以输入。 Go 到 Cloudera 管理器并使用重新部署配置的选项，还检查 /etc/hosts 并查看它是否与 Cloudera 管理器中提到的主机名匹配。