Cloudera CDH中的hadoop-examples *和hadoop-test * jars在哪里？

Question

我正在寻找能够运行与示例和测试jar相关联的hadoop作业的jar文件。 在过去，他们在/ usr / lib / hadoop下，但显然不再。 指针赞赏。

注意 ：这个问题最初是针对CDH4.2的。 但是一些答案包括更高版本的信息

Answer 1

在我在CentOS 6.5版（最终版）上的单节点Hadoop 2.3.0-cdh5.0.2设置中，我在/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.0.3找到了mapred示例。 jar（来自/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar的符号链接）。 通过http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_tips_guidelines.html 。

Answer 2

find / -name hadoop-mapreduce-examples*.jar

/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.7.0.jar

/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar

Answer 3

我在/ usr / local / lib下找到它们如下（用你正在使用的特定cloudera版本替换4.2.1）：

mrv1：/usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar mrv2：/usr/local/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0的3.0 cdh4.2.1.jar

所以我们可以运行它：hadoop jar /usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar pi 500 40

Answer 4

正如其他人所提到的，根据操作系统和安装程序，可以配置安装位置。 对于RHEL上的CDH4，使用cloudera管理器作为安装程序，可以在以下位置找到示例和测试罐。

/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar

'/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop/hadoop-common-2.0.0-cdh4.2.0-tests.jar'

Answer 5

因此，他们根据新API中的hadoop目录更改移动了一些东西。

${CDH4_DIR}/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar
${CDH4_DIR}/share/hadoop/common/hadoop-common-*-tests.jar

但是大多数jar文件现在所在的目录都在

${CDH4_DIR}/share/hadoop/

Answer 6

我在我的环境中发出find命令。 Red Hat Linux. Hadoop 2.5.0

find / -name examples .jar /app/hadoop-2.5.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-sources.jar /app/hadoop-2.5.0/share/hadoop/映射缩减/来源/ Hadoop的MapReduce的例子-2.5.0 - 测试 - sources.jar

/app/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar

/usr/java/jdk1.6.0_24/demo/jpda/examples.jar