错误：java.lang.RuntimeException：java.lang.ClassNotFoundException：类WordCountExample $ Map未找到

Question

我正在使用ubuntu系统并尝试运行wordcount.jar程序。 不幸的是，我遇到以下错误-

错误：java.lang.RuntimeException：java.lang.ClassNotFoundException：类WordCountExample $ Map未找到

我已经更新了类路径-

job.setJarByClass（WordCountExample.class）; 和jobconf.setJarByClass（WordCountExample.class）;

没有这项工作。 不知道怎么了。 请在这方面与您的外籍人士分享。

import java.io.IOException;
import java.util.*;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

/ ** * @author http://www.devinline.com * /

public class WordCountExample {
/* Map class which job will use and execute it map method */
public static class Map extends
Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}}}

/* Reduce class which job will use and execute it reduce method */
public static class Reduce extends
Reducer<Text, IntWritable, Text, IntWritable> {

public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}}

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();

/* Created a job with name wordCountExample */
Job job = Job.getInstance(conf, "wordCountExample");
job.setJarByClass(WordCountExample.class);  

/*
* Handler string and int in hadoop way: for string hadoop uses Text
* class and for int uses IntWritable */
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

/*
 * Configure map and reducer class, based on which it uses map and
    /* reduce method
     */
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);

    /* Input and output format set as TextInputFormat */
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

    /* addInputPath - passes input file path to job */
FileInputFormat.addInputPath(job, new Path(args[0]));
    /* setOutputPath - passes output path to job */
FileOutputFormat.setOutputPath(job, new Path(args[1]));

    /* Submit the job to the cluster and wait for it to finish. */
System.exit(job.waitForCompletion(true) ? 1 : 0);
}}

hadoop jar /home/nahmed/WordcountSample.jar WordCountExample /user/nahmed/pg20417.txt / user / nahmed / WCoutput 15/08/15 21:31:12 INFO client.RMProxy：在it066431.massey.ac上连接到ResourceManager。 nz / 130.123.248.83：8050

19/08/15 21:31:12 INFO client.AHSProxy：连接到位于it066431.massey.ac.nz/130.123.248.83:10200的Application History服务器。15/08/15 21:31:12 WARN mapreduce.JobResourceUploader：Hadoop命令行选项解析未执行。 实施Tool接口并使用ToolRunner执行您的应用程序以对此进行纠正。 2015年8月19日21:31:12警告mapreduce.JobResourceUploader：未设置作业jar文件。 可能找不到用户类别。 请参见Job或Job＃setJar（String）。 19/08/15 21:31:12 INFO输入.FileInputFormat：要处理的总输入路径：1 19/08/15 21:31:12 INFO mapreduce.JobSubmitter：分割数：1 19/08/15 21:31 ：12 INFO mapreduce.JobSubmitter：提交作业令牌：job_1562128011754_0026 19/08/15 21:31:13 INFO mapred.YARNRunner：作业jar不存在。 不将任何jar添加到资源列表中。 19/08/15 21:31:13 INFO impl.YarnClientImpl：提交的应用程序application_1562128011754_0026 19/08/15 21:31:13 INFO mapreduce.Job：跟踪作业的网址： http ://it066431.massey.ac 。 nz：8088 / proxy / application_1562128011754_0026 / 19/08/15 21:31:13 INFO mapreduce.Job：正在运行的作业：job_1562128011754_0026 19/08/15 21:31:17 INFO mapreduce.Job：Job job_1562128011754_0026以超级模式运行：false 19/08/15 21:31:17 INFO mapreduce.Job：映射0％减少0％19/08/15 21:31:20 INFO mapreduce.Job：任务ID：try_1562128011754_0026_m_000000_0，状态：FAILED错误：java.lang。 RuntimeException：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass（JobContextImpl.org.apache.hadoop.conf.Configuration.getClass（Configuration.java:2228）上找不到。 java：186）位于org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:745）位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:341）位于org.apache.hadoop.mapred .YarnChild $ 2.run（Y org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation）上的javax.security.auth.Subject.doAs（Subject.java:422）处的java.security.AccessController.doPrivileged（本机方法）的arnChild.java:170） java：1866）在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）原因：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.apache.hadoop.conf.Configuration.getClassByName上找不到（Configuration.java:2134）位于org.apache.hadoop.conf.Configuration.getClass（Configuration.java:2226）...还有8个

容器被ApplicationMaster杀死。 集装箱应要求被杀死。 退出代码为143容器退出，退出代码为非零143

19/08/15 21:31:23 INFO mapreduce.Job：任务ID：try_1562128011754_0026_m_000000_1，状态：FAILED错误：java.lang.RuntimeException：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.apache.hadoop上找不到。 org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java :)上的conf.Configuration.getClass（Configuration.java:2228）在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass（JobContextImpl.java:186） 745）at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170）at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170）at java.security.AccessController.doPrivileged（ org.apache.hadoop.mapred.YarnChild上javax.security.auth.Subject.doAs（Subject.java:422）上的本机方法）.org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） main（YarnChild.java:164）原因：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.a的org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:2134）上找不到 pache.hadoop.conf.Configuration.getClass（Configuration.java:2226）...还有8个

容器被ApplicationMaster杀死。 集装箱应要求被杀死。 退出代码为143容器退出，退出代码为非零143

15年8月19日21:31:26信息mapreduce。工作：任务ID：try_1562128011754_0026_m_000000_2，状态：失败错误：java.lang.RuntimeException：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.apache.hadoop上找不到。 org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java :)上的conf.Configuration.getClass（Configuration.java:2228）在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass（JobContextImpl.java:186） 745）at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170）at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170）at java.security.AccessController.doPrivileged（ org.apache.hadoop.mapred.YarnChild上javax.security.auth.Subject.doAs（Subject.java:422）上的本机方法）.org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） main（YarnChild.java:164）原因：java.lang.ClassNotFoundException：类WordCountExample $ Map在org.a的org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:2134）上找不到 pache.hadoop.conf.Configuration.getClass（Configuration.java:2226）...还有8个

容器被ApplicationMaster杀死。 集装箱应要求被杀死。 退出代码为143容器退出，退出代码为非零143

19/08/15 21:31:31 INFO mapreduce.Job：映射100％减少100％19/08/15 21:31:31 INFO mapreduce.Job：作业job_1562128011754_0026因状态失败而失败，原因是：任务失败task_1562128011754_0026_m_000000作业失败由于任务失败。 failedMaps：1次失败减少：0次

15年8月19日21:31:31信息mapreduce.Job：计数器：13作业计数器失败的地图任务= 4杀死的reduce任务= 1已启动的地图任务= 4其他本地地图任务= 3数据本地地图任务= 1总时间所有地图在占用插槽中所花费的时间（ms）= 53207所有缩小在占用插槽中所花费的总时间（ms）= 0所有地图任务所花费的总时间（ms）= 7601所有缩减任务所花费的总时间（ms）= 0所有映射任务占用的总vcore毫秒= 7601所有缩减任务占用的总vcore毫秒= 0所有映射任务占用的总兆字节毫秒= 54483968所有reduce任务占用的总兆字节毫秒= 0

Answer 1

您有两个嵌套的类：Map和Reduce。 该错误表明Java无法找到找到它们。 最有可能的jar /home/nahmed/WordcountSample.jar不包含它们。 验证执行：

 jar -tf  /home/nahmed/WordcountSample.jar

如果它们不包含在jar中，我认为这是您编译方式的问题。