MRJob因Hadoop錯誤copyToLocal而失敗：[…]沒有這樣的文件或目錄

Question

MRJob因錯誤而失敗

我正在EMR群集上使用MRJob運行一個簡單的Hadoop作業。 作業正常啟動，但隨后

Job launched 181.2s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 211.4s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 241.6s ago, status BOOTSTRAPPING: Running bootstrap actions
Job launched 271.8s ago, status BOOTSTRAPPING: Running bootstrap actions
Job on job flow j-7711LTEPTIOB failed with status SHUTTING_DOWN: On the master instance (i-bed4e153), bootstrap action 1 returned a non-zero return code

EMR日志顯示以下內容

copyToLocal: `s3://[path-to-file]/mrjob.tar.gz': No such file or directory

但是，我可以看到此文件已復制，因為它在S3上的正確位置。

請幫忙 ！

Answer 1

得到它了。 錯誤實際上在[文件路徑]中。 我的$ USER包含一個反斜杠“ \\”，然后被MRJob用作S3上臨時文件夾的名稱。 S3目錄名稱中不接受“ \\”。 解決方案是在虛擬環境中修改$ USER。