spark-submit 在集群模式下失敗，錯誤 13，pyspark 作業的權限被拒絕

Question

我們在附帶默認 python 2.7 的 RHEL 7 機器上安裝了 cloudera CDH 6.2。 在虛擬環境中使用 python 3.7 提交 pyspark 作業。 帶有 --master local 和 --deploy-mode 客戶端的客戶端模式運行良好。 但是， --master yarn 和 --deploy-mode 集群存在問題。

這個命令spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark --conf spark.executorEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark sample.py失敗，出現以下 2 個錯誤

案例 1 錯誤日志：--deploy-mode cluster

Cannot run program "/home/user/R1_I5/bin/python": error=13, Permission denied詳細日志： https://drive.google.com/file/d/1J7HLNGABnStJ91ISHFBMdNe5OLEUQZ6B/view

案例 2 錯誤日志：--master yarn

以下 2 行重復，程序沒有終止

INFO yarn.Client: Application report for application_1594339922772_0012 (state: ACCEPTED)
INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all

Answer 1

1. 您需要檢查目錄“hdfs://dwh:8020/user//.sparkStaging/application_1594339922772_0011”的權限，並查看與您一起運行程序的用戶是否有權訪問它。 正確的方法是在 'hdfs://dwh:8020/user/username 下創建一個 'username' 目錄並運行它。
2. 檢查主機的主機名，這里的問題是它試圖連接到配置中提到的主機但無法找到它。 你可以輸入。 Go 到 Cloudera 管理器並使用重新部署配置的選項，還檢查 /etc/hosts 並查看它是否與 Cloudera 管理器中提到的主機名匹配。