如何添加 EMR Spark 步驟？

Question

根據文檔：

對於步驟類型，選擇 Spark 應用程序。

但在 Amazon EMR -> 集群 -> mycluster -> 步驟 -> 添加步驟 -> 步驟類型中，唯一的選項是：

Answer 1

添加 EMR 火花步驟的方法有兩種：

- 使用command-runner.jar （自定義應用程序）

spark-submit --class org.apache.spark.examples.SparkPi /usr/lib/spark/examples/jars/spark-examples.jar 10

使用 aws cli 做同樣的事情

aws emr add-steps --cluster-id j-xxxxxxxx --steps Name="add emr step to run spark",Jar="command-runner.jar",Args=[spark-submit,--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/examples/jars/spark-examples.jar,10]

- 火花應用

Answer 2

我沒有 Spark 應用程序選項，因為我創建了 Core Hadoop 集群。

當我創建集群時，在軟件配置下，我應該選擇 Spark，然后我會在 Step 類型下擁有 Spark 應用程序選項。

Answer 3

您可以將 command-runner.jar 用於您的用例。 對於步驟類型，請從您擁有的選項中選擇自定義 Jar。 查看此圖像以了解詳細信息。

您可以閱讀有關 command-runner.jar command-runner-usage 的更多信息