如何在終端上調試MapReduce任務？
[英]How to debug a MapReduce task on the terminal?
問題描述
有沒有一種簡單的方法來使用終端模擬MapReduce作業？ 我想知道在編寫代碼時是否有一種簡單的方法可以調試我的代碼。
1 個解決方案
解決方案1
3 已采納 2015-03-27 00:14:48
我習慣使用Python進行Hadoop流式傳輸，但我相信這個解決方案也可以復制到其他語言中。 所以，這是我的解決方案：
cat input_folder/* | python map.py | sort | python reduce.py
通過簡單地運行，您可以看到減速器接收的值作為輸入也是有效的：
cat input_folder/* | python map.py | sort
在MapReduce中，如何在多個計算機上執行相同的reduce任務？
[英]In MapReduce, how can the same reduce task be executed on multiple machines?
Hadoop如何在多個數據節點之間分配數據和Mapreduce任務
[英]How Hadoop distribute data and mapreduce task across multiple data nodes
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.