Hadoop Map / Reduce Mapper'map'方法和日志

Question

我最近被要求考慮加速mapreduce項目。 我正在嘗試查看在實現的類的'map'方法中生成的log4j日志信息： org.apache.hadoop.mapred.Mapper

在這個類中有以下方法：

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

日志信息可用於configure方法和doCompileAndAdd方法（從configure方法調用）; 但是，“map”方法沒有顯示日志信息。

我也試過在map方法中簡單地使用System.out.println( .. )而沒有成功。

是否有人可以幫助闡明這個問題？

謝謝，Telax

Answer 1

由於映射器類實際上在分布在集群中的節點上的任務中運行，因此來自這些任務的標准輸出顯示在每個任務的各個日志中。 查看這些日志的最簡單方法是轉到群集的作業跟蹤器頁面，通常位於http://namenode:50030/jobtracker.jsp 。 從那里，您可以選擇作業，然后選擇您對日志感興趣的地圖任務。