AWS EMR 步骤找不到从 s3 导入的 jar

Question

我正在尝试以客户端模式在 aws emr 上运行 spark 应用程序。 我已经设置了一个引导操作来从 s3 导入所需的文件和 jar，并且我有一个步骤来运行单个 spark 作业。

但是，当执行该步骤时，找不到我导入的 jar。 这是标准错误输出：

19/12/01 13:42:05 警告 DependencyUtils：本地 jar /mnt/var/lib/hadoop/steps/s-2HLX7KPZCA07B/~/myApplicationDirectory 不存在，跳过。

我能够成功地将应用程序的 jar 和其他所需文件从我的 s3 存储桶导入主实例，我只需通过引导操作将它们导入home/ec2-user/myApplicationDirectory/myJar.jar 。

但是我不明白为什么该步骤在 mnt/var/lib/hadoop/...等处寻找 jar。

以下是 cli 配置的相关部分：

--steps '[{"Args":["spark-submit",
"--deploy-mode","client",
"--num-executors","1",
“--driver-java-options","-Xss4M",
"--conf","spark.driver.maxResultSize=20g",
"--class”,”myApplicationClass”,
“~/myApplicationDirectory”,
“myJar.jar",
…
   application specific arguments and paths to folders here 
…],
”Type":"CUSTOM_JAR",

谢谢你的帮助，

Answer 1

看起来它不理解~指的是主目录。 尝试将"~/myApplicationDirectory"更改为"/home/ec2-user/myApplicationDirectory" 。

---

^{一点警告：在您的问题示例中，直引号 " 与“智能”引号"混合在一起。确保“智能“引号不会出现在您的配置文件中，否则您会收到非常混乱的错误消息.}