![](/img/trans.png)
[英]Is CDH(Cloudera Distribution for hadoop) is open source to use?
[英]“Child Error” in Executing stream Job on multi node Hadoop cluster (cloudera distribution CDH3u0 Hadoop 0.20.2)
我正在使用 8 节点 Hadoop 集群,我正在尝试使用指定的配置执行一个简单的流式传输作业。
hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max.attempts=8 \-D mapred.skip.attempts.to.start.skipping=8 \-D mapred.skip.map.max.skip.records=8 \-D mapred.skip.mode.enabled=true \-D mapred.max.map.failures.percent=5 \-input /user/hdfs/ABC/ \-output "/user/hdfs/output1/" \-mapper "perl -e 'while (<>) { chomp; print; }; exit;" \-reducer "perl -e 'while (<>) { ~s/LR\>/LR\>\n/g; print ; }; exit;"
我正在使用 cloudera 的 hadoop CDH3u0 和 hadoop 0.20.2 的发行版。 执行此作业的问题是该作业每次都失败。 这项工作给出了错误:
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:229)
-------
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:229)
STDERR on the datanodes:
Exception in thread "main" java.io.IOException: Exception reading file:/mnt/hdfs/06/local/taskTracker/hdfs/jobcache/job_201107141446_0001/jobToken
at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:146)
at org.apache.hadoop.mapreduce.security.TokenCache.loadTokens(TokenCache.java:159)
at org.apache.hadoop.mapred.Child.main(Child.java:107)
Caused by: java.io.FileNotFoundException: File file:/mnt/hdfs/06/local/taskTracker/hdfs/jobcache/job_201107141446_0001/jobToken does not exist.
对于错误的原因,我检查了以下内容,但它仍然崩溃,我无法理解原因。
1. All the temp directories are in place
2. Memory is way more than it might be required for job (running a small job)
3. Permissions verified.
4. Nothing Fancier done in the configuration just usual stuff.
最奇怪的是,作业有时会成功运行,但大部分时间都会失败。 关于这些问题的任何指导/帮助都会非常有帮助。 我从过去 4 天开始处理这个错误,但我无法弄清楚任何事情。 请帮忙!!!
谢谢和问候, 阿图尔
我遇到了同样的问题,如果任务跟踪器无法为任务分配指定的 memory 给子 JVM,就会发生这种情况。
当集群不忙于同时运行许多其他作业时,尝试再次执行相同的作业,它将 go 通过或推测执行为真,在这种情况下 hadoop 将在另一个任务跟踪器中执行相同的任务。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.