通過傳遞憑據在 AWS EMR 上運行 spark

Question

我是 EMR 的新手，並嘗試使用command-runner.jar spark-submit --deploy-mode cluster --class com.xx.xx.className s3n://mybuckets/spark-jobs.jar類的東西作為一個步驟啟動 Spark 作業command-runner.jar spark-submit --deploy-mode cluster --class com.xx.xx.className s3n://mybuckets/spark-jobs.jar
但是，spark 作業需要憑據作為環境變量，我的問題是將憑據作為環境變量傳遞給 spark 作業的最佳方法是什么。
謝謝！

Answer 1

看看這里： AWS EMR 4.0 - 如何添加自定義 JAR 步驟來運行 shell 命令和這里： http ://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hadoop-script.html 試試像這樣運行步驟（參數）：/usr/bin/spark-submit --deploy-mode cluster --class

Answer 2

我來到你的問題谷歌搜索自己的解決方案。 現在作為臨時解決方案，我將憑證作為 cmd 行參數傳遞。 將來我想添加一個自定義引導腳本，該腳本將從服務中獲取數據並創建 ~/.aws/credentials 和配置文件。 我希望這會有所幫助，或者如果您發現任何其他選項，請在此處發布。