將命令行參數傳遞給jvm（java）映射器任務

Question

我想調試我的mapper的一些部分，我需要將一些命令行參數傳遞給啟動映射器的jvm（java）進程。 有什么不同的方法嗎？

我想出了一種改變MapTaskRunner.java的方法，但我想避免編譯整個hadoop包。 應該有一些簡單的方法使用配置文件將額外的命令行參數傳遞給jvm映射器進程。

Answer 1

我猜你在mapred-config.xml中尋找以下配置：

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m -XX:+UseConcMarkSweepGC</value>
</property>

在值部分，您可以使用-D設置參數。

或者，您可以在終端中設置HADOOP_OPTS ：

export HADOOP_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5000"

有關本地調試hadoop作業的更多信息，請參見此處 。