在 Amazon AWS 上运行自定义 jar 时遇到问题

Question

我在 Elastic Map-Reduce 上运行自定义 jar 时遇到问题

我正在使用 jdk1.6.0_26、Hadoop 0.20.205，并在我的计算机上使用 Eclipse 进行编译，一切正常

例如，如果我在我的计算机上运行以下命令，它将成功 hadoop jar MaxTemperature.jar input/temperature.txt output

我在 AWS s3n://chrisadoop/MaxTemperature.jar 上将 jar 指定为以下内容

我将参数指定为 s3n://chrisadoop/input/temperature.txt s3n://chrisadoop/output

我没有指定主类，因为我在清单中指出了它

这是我正在使用的罐子，我会把它公开一会儿

https://s3.amazonaws.com/chrisadoop/MaxTemperature.jar

这是我得到的错误

2012-07-08 19:31:39,824 INFO com.amazonaws.elasticmapreduce.statepusher.StatePusher (main): Pusher awoke, starting to push data into simpledb...
2012-07-08 19:31:40,552 FATAL com.amazonaws.elasticmapreduce.statepusher.StatePusher (main): Fatal Exception raised while extracting data from hadoop and pushing to simpledb
java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException
at com.amazonaws.elasticmapreduce.statepusher.StatePusher.run(StatePusher.java:65)
at com.amazonaws.elasticmapreduce.statepusher.StatePusher.main(StatePusher.java:205)
Caused by: java.lang.ClassNotFoundException:     org.codehaus.jackson.map.JsonMappingException
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
... 2 more

Answer 1

有一个 Jackson 版本作为 AMI 的一部分安装，我猜你捆绑了不同版本的 Jackson？ 该错误似乎发生在使“启用调试”工作的支持代码中。