Cloudera 中的 Hadoop 路径 VMware

Question

嗨，我已经在 cloudera vm 4.2.1 p 中用 java 实现了我的平均字数，并且我已经转换为 Jar 文件并运行了命令：hadoop jar averagewordlength.jar stubs.AvgWordLength Shaspeare wordleng

下一步：我已正确运行莎士比亚，但无法运行我的文件（我创建的文件：newfile）。 它抛出异常：

线程“main” org.apache.hadoop.mapreduce.lib.input.InvalidInputException 中的异常：输入路径不存在：hdfs://0.0.0.0:8020/user/training/newfile at org.apache.hadoop.mapreduce。 lib.input.FileInputFormat.listStatus(FileInputFormat.java:231) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:248) at org.apache.hadoop.mapred.JobClient.writeNewSplits( JobClient.java:1064) 在 org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:1081) 在 org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174) 在 org.apache。 hadoop.mapred.JobClient$2.run(JobClient.java:993) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:946) at java.security.AccessController.doPrivileged(Native Method) at javax。 security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java)

请指导粘贴新文件的路径以检查我的解决方案。

Answer 1

看来您的 Hadoop 配置不正确。

hdfs://0.0.0.0不是有效地址

cloudera 虚拟机 4.2.1 ? 尝试下载较新的 CDH 5.x VM

Answer 2

我通过命令得到它

hadoop fs -put localpath