我可以在map-reduce中编写自定义Java方法吗？

Question

我可以在map-reduce内部的JAVA中编写自己的自定义静态方法，以便为进入映射器的每个键值对调用该方法吗？

Answer 1

您可以做这样的事情，而我一直都在做。 您调用的方法可以是静态的，也可以不是。

基本上：

如果从项目中包含的自己编写的代码中调用外部代码，则在将项目导出到.jar文件时，需要将其与代码捆绑在一起。

如果要从包含在项目的构建路径中的.jar文件中引用方法等，则需要将该.jar文件放在要运行作业的群集的每个节点上，然后编辑HADOOP_CLASSPATH变量在服务器上的$ HADOOP_HOME / conf / hadoop-env.sh文件中，然后重新启动集群。 否则，您将收到未找到类的错误。

一个例子是：

export HBASE_CLASSPATH=/path/to/one/file.jar:/path/to/another/file.jar

Answer 2

是的，你可以这么做。 （我必须输入其他字符，以便我可以提交此答案，所以请忽略此句子）