python中的Mapreduce wordcount

Question

好吧，我是mapreducer程序的新手。 因此，当我搜索mapreducer程序的示例时​​，我得到的只是字数统计程序。 所有与字数统计相关的程序均使用文本文件作为输入。 我尝试使用csv文件作为输入，而reducer无法正常工作，因为它适用于文本文件。 http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/这是我正在查看的当前示例。 有人可以解释原因吗？

Answer 1

您可以使用collections.Counter类：

from collections import Counter

with open(filename) as handler:
    counter = Counter(handler.read().split())

print(counter.most_common(10))

在文档中，您会找到许多更多有用的信息。

Answer 2

区分

• MapReduce ：用于并行执行的编程模型
• Python：一种编程语言
• Hadoop：Python可以在其上运行的集群平台

您是否真的需要MapReduce for Hadoop或仅是一个纯Python示例？ 如果是后者，则比您的链接要容易得多：

import multiprocessing
def word_count(line, delimiter=","):
    """Worker"""
    summary = {}
    for word in line.strip().split(delimiter):
        if word in summary:
            summary[word] += 1
        else:
            summary[word] = 1
    return summary
pool = multiprocessing.Pool()
result = {}
# Map: each line to a separate worker
for summary in pool.imap_unordered(word_count, open("/path/to/file.csv")):
    # Reduce: aggregate the result of each line into one result
    for (word, count) in summary.items():
        result[word] = result[word]+count if word in result else count
print(result)