無法在EMR上導入mrjob

Question

所以我試圖運行我的mrjob，但在第一行得到錯誤：

ImportError: No module named mrjob.job

我將按以下方式啟動工作：

python main.py --bootstrap-mrjob -v -r emr --emr-job-flow-id j-XXXXXXXXX ../data/data.txt

我還嘗試將以下行添加到我的mrjobs.conf中：

bootstrap:
- sudo pip install mrjob

沒用 那么如何解決呢？

編輯：實際上，如果我是從命令行創建群集的，那么我不會收到此錯誤，但是如果我要在已經運行的群集上運行腳本，它將失敗並顯示此錯誤。

編輯：所以另一個不同之處是在從命令行創建的群集上，我有以下步驟

  PENDING (cluster is BOOTSTRAPPING: Running bootstrap actions)

但是在已經運行的集群上我沒有它

Answer 1

您需要顯式傳遞mrjobs.conf： -c mrjobs.conf