emr 中的 mrjob 僅運行 3 個 MRStep 中的 1 個 MRStep，並且集群正在關閉

Question

錯誤看起來像這樣：- 終止集群：j-SDOP2KOKWYZM

botocore.exceptions.ClientError：調用 AddJobFlowSteps 操作時發生錯誤 (ValidationException)：可能無法修改正在關閉、終止或完成的作業流。

Answer 1

跟隨錯誤。 很明顯，集群在步驟 1 之后終止。此問題是因為不推薦使用botocore package。

對此的解決方案可能是：

1. 啟動持久集群
2. 使用該集群 ID 在 emr 中運行 mr 作業

命令：

mrjob create-cluster

確保您已在mrjob.config文件中配置集群信息。 上面的命令可以讓你創建一個持久集群。

python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
    --items=ml-100k/u.item ml-100k/u.data > sims2t.txt

現在指定集群 ID 以運行您的集群。