在EMR上的MRJob中導入模塊

Question

簡單的問題：我有一個模塊headers.py，它在我的主MRJob腳本中定義了一些我需要的變量。 我應該能夠完成這項工作

python MRMyJob -r emr --file=headers.py s3://input/data/path

然后在我的MRJob腳本（MRMyJob）中，以下內容應該有效：

from headers import header1, header2, header3

對？ 從mrjob --help頁面：“ - file = UPLOAD_FILES將文件復制到此腳本的工作目錄。您可以多次使用--file。”

當我嘗試導入它時，我仍然得到“沒有模塊命名標題”。

Answer 1

headers.py顯然沒有放在你的遠程PYTHONPATH 。 請參閱有關如何將其他模塊傳遞到群集的文檔 ; 你必須先把它們放在tarball中。