Python中经典Hadoop字数示例中的数据流

Question

我正在尝试理解Python http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/中的Hadoop字数示例

作者从天真的版本的mapper和reducer开始。 这是减速器（为简洁起见，我删除了一些评论）

#!/usr/bin/env python

from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

# input comes from STDIN
for line in sys.stdin:
    line = line.strip()

    word, count = line.split('\t', 1)

    try:
        count = int(count)
    except ValueError:
        continue

    if current_word == word:
        current_count += count
    else:
        if current_word:
            # write result to STDOUT
            print '%s\t%s' % (current_word, current_count)
        current_count = count
        current_word = word

# do not forget to output the last word if needed!
if current_word == word:
    print '%s\t%s' % (current_word, current_count)

作者使用以下方法测试程序：

echo "foo foo quux labs foo bar quux" | /home/hduser/mapper.py | sort -k1,1 | /home/hduser/reducer.py

因此，减速器的编写方式就像减速器作业的输入数据一样：

aa 1
aa 1
bb 1
cc 1
cc 1
cc 1

我对reducer的最初了解是，给定reducer的输入数据将包含一个唯一键。 因此，在前面的示例中，将需要3个reducer工作。 我的理解不正确吗？

然后，作者介绍了mapper和reducer的改进版本。 这是减速器：

#!/usr/bin/env python
"""A more advanced Reducer, using Python iterators and generators."""

from itertools import groupby
from operator import itemgetter
import sys

def read_mapper_output(file, separator='\t'):
    for line in file:
        yield line.rstrip().split(separator, 1)

def main(separator='\t'):
    # input comes from STDIN (standard input)
    data = read_mapper_output(sys.stdin, separator=separator)

    for current_word, group in groupby(data, itemgetter(0)):
        try:
            total_count = sum(int(count) for current_word, count in group)
            print "%s%s%d" % (current_word, separator, total_count)
        except ValueError:
            # count was not a number, so silently discard this item
            pass

if __name__ == "__main__":
    main()

作者添加以下警告：

注意：以下Map和Reduce脚本仅在Hadoop上下文中运行时才能“正确”运行，即在MapReduce作业中作为Mapper和Reducer运行。 这意味着运行朴素的测试命令“ cat DATA | ./mapper.py | 排序-k1,1 | “ ./reducer.py”将无法再正常工作，因为有意将某些功能外包给了Hadoop。

我不明白为什么天真的测试命令不适用于新版本。 我认为使用sort -k1,1将为两个版本的reducer产生相同的输入。 我想念什么？

Answer 1

关于您的第一个问题：“我对减速器的最初了解是给定减速器的输入数据将包含一个唯一键。因此在前面的示例中，将需要3个减速器工作。我的理解不正确吗？”

MapReduce抽象和该抽象的Hadoop实现之间有区别。 在抽象中，Reducer与唯一密钥相关联。 另一方面，Hadoop实施将多个密钥分配给同一化简器（以避免关闭进程和启动新进程的成本）。 特别是，在Hadoop流中，Reducer会接收与一定数量的键（可能为零，一个或多个键）相对应的键值对，但是您可以保证与某个键关联的键值对将相继相遇。

例如，让我们以输入“ foo foo quux labs foo bar quux”的单词计数示例为例。 那么可能是一个化简器收到输入“ bar 1 \\ nfoo 1 \\ nfoo 1 \\ nfoo1”，而另一个化简器收到“ labs 1 \\ nquux 1 \\ nquux 1”。 您使用选项mapred.reduce.tasks确定运行的实际reducer进程数。 例如使用2个减速器就可以

 $ bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -D mapred.reduce.tasks=2 -mapper ....

关于您的第二个问题，我同意您的观点，即sort -k1,1可以解决问题，因此我也看不到任何问题。