彈性貼圖減少錯誤

Question

使用Elastic Map Reduce時出現錯誤，我不確定它的含義，因為它描述性不強。 我想特別知道我得到的是哪種JSONDecodeError。 “ 12”不是描述性的。 這是輸出。 我正在使用MRjob類

writing to step-0-mapper_part-00000
writing to step-0-mapper_part-00001
Counters from step 1:
  Undecodable input:
    JSONDecodeError: 12
  Unencodable output:
   TypeError: 2
writing to /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper-sorted
> sort /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper_part-00000 /tmp/emr_irene.ec2-     user.20130716.171313.288877/step-0-mapper_part-00001
writing to step-0-reducer_part-00000
Counters from step 1:
 Undecodable input:
 JSONDecodeError: 12
 Unencodable output:
   TypeError: 2

Answer 1

在這種情況下，數字12是您遇到的json編碼錯誤的數量。 為了弄清楚他們為什么失敗了，我知道最好的方法是減少輸入集並通過重新運行作業來對問題進行三角化。

Answer 2

如果您正在使用Amazon AWS，則可以運行以下腳本，您將獲得有關錯誤的更多信息：

python -m mrjob.tools.emr.fetch_logs --find-failure YOUR_JOB_ID