如何在Hadoop中迭代MapReduce？ （lang：python）

Question

我編寫了一個MapReduce程序（mapper.py和reducer.py）來處理Hadoop中的PageRank問題。

我想迭代MapReduce約10次迭代。 如何將第一輪MapReduce的輸出帶到第二輪MapReduce的輸入？

       1                    2                           10
[mapper->reducer] -> [mapper->reducer] -> ... -> [mapper->reducer] -> final result

Answer 1

您可以將job1的輸出鏈接為job2的輸入。

輸入目錄1->輸出目錄1->輸出目錄2 ...->輸出目錄9->輸出目錄10