如何在Amazon EMR中運行WordCount？

Question

在Amazon EMR中指定輸入和輸出路徑的正確方法是什么？

在我的集群中，單擊“ Add Step然后選擇“自定義Jar”，然后輸入jar位置s3://wordcountbuckett/wc.jar 。 對於參數輸入框，我已將s3://wordcountbuckett/file01指定為輸入文件，並將s3://wordcountbuckett/output/為輸出路徑。

file01是一個txt文件，而/ output /是一個文件夾。

以下是我從日志中獲得的錯誤

Exception in thread "main" java.lang.ClassNotFoundException: s3://wordcountbuckett/
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:278)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

My Add Step details:
1. Step Type : Custom Jar
2. Name : WordCount2
3. JAR Location : s3://mywordcountbuckett/binary/wc.jar
4. Arguments: s3://mywordcountbuckett/input/
s3://mywordcountbuckett/output/
5. Action on Failure : Continue

Answer 1

您確定指定了正確的路徑嗎？ 因為在文本中您談論的是s3://wordcountbuckett/wc.jar但是在添加步驟配置中，您指定了s3://mywordcountbuckett/.. 。 我建議檢查這是問題還是錯別字。