有没有办法在一个 MapReduce 作业中生成一个全局集，并在后续作业中访问它？

Question

我正在尝试学习 MapReduce。 作为一个玩具问题，我有一个行数据集，每行看起来像：“name, favorite_team,friend1,friend2,...,friend_n”。 例如：

Aaden, Red Sox, Alannah, Alayna, Alex, Aaliyah
Aaliyah, Cardinals, Adley, Aliyah, Aaden

我想使用 MapReduce 来查找每个人拥有的 Cardinals 粉丝朋友的数量。

为此，我可以使用 MapReduce 来制作一套 Cardinal 的风扇。 我现在想做的是在每台机器上分发这个集合，然后将原始数据与这个集合一起分发给每个人拥有的Cardinal's Fan Friends的数量。

我怎样才能做到这一点？ 这是对范式的正确使用吗？ 他们给出的一个示例解决方案是here ，但它与我的预期方法不同。

在 Hadoop 和 MapReduce 中有一个叫做 DistributedCache 的东西。 也许这会有所帮助？

以供参考：

这就是我创建一组红衣主教球迷的方式：

from mrjob.job import MRJob

#prelim: just get a set of cardinal fans and non-cardinal fans
class MRCardinal(MRJob):
    def mapper(self, key, line):
        s = line.split(", ")
        name = s[0]
        team = s[1]
        friends = s[2:]
        if team == 'Cardinals':
            yield 'c', name
        else:
            yield 'n', name
    def reducer(self, key, values):
        if key == 'c':
            yield key, [v for v in values] #don't return a generator.
        if key == 'n':
            yield key, [v for v in values]
    # now we have a list of values, and a set

if __name__ == '__main__':
    MRCardinal.run()