如何同時在單個節點中運行多個映射器

Question

我在我的Mac上使用Hadoop 2.8.0。 我想同時運行所有的映射器。 我嘗試通過強制進行多個輸入文件拆分並使用多個輸入文件，以便創建多個映射器。 它們已創建，但它們按順序運行。 我在輸出中看到這樣的東西：

開始任務**** _ m_0

...............

完成任務**** _ m_0

開始任務**** _ m_1

為什么映射器一個接一個地運行？ 如何配置以便立即啟動？

Answer 1

如果您在本地模式下運行mapreduce（例如，從eclipse），它將一次只運行一個映射器和一個reducer。 如果您在分布式（或偽分布式）模式下運行它（例如，使用來自終端的hadoop命令，它可以運行更多的映射器。

確保在配置文件中將映射器的最大數量設置為大於1。

如果你有4個文件，你的Mac至少有4個核心，那么你應該看到至少4個地圖任務同時運行。