為什么ShuffleConsumerPlugin在映射之前沒有啟動？

Question

我創建了ShuffleConsumerPlugin的自定義實現，並且可以正常工作。 但是，它在我的映射任務完成后被實例化：

org.apache.hadoop.mapred.LocalJobRunner: Waiting for map tasks
org.apache.hadoop.mapred.LocalJobRunner: Starting task: attempt_local1582630093_0001_m_000000_0
org.apache.hadoop.mapred.LocalJobRunner: map > sort
org.apache.hadoop.mapred.Task: Task 'attempt_local1582630093_0001_m_000000_0' done.
org.apache.hadoop.mapred.LocalJobRunner: map task executor complete.
org.apache.hadoop.mapred.LocalJobRunner: Waiting for reduce tasks
org.apache.hadoop.mapred.LocalJobRunner: Starting task: attempt_local1582630093_0001_r_000000_0
org.apache.hadoop.mapred.ReduceTask: Using ShuffleConsumerPlugin: FooPlugin

精簡任務在映射一完成后開始。 我將此處建議的工作的mapreduce.job.reduce.slowstart.completedmaps設置為0.0 ，但這沒有任何區別。

我正在使用Hadoop 2.5.1

Answer 1

我的猜測是您正在本地模式下工作。 因此，將僅運行一個映射器。 當至少一個映射器完全交付其輸出時，reduce階段將開始（使用提到的設置mapreduce.job.reduce.slowstart.completedmaps = 0.0）。