使用阈值过滤对集合进行分组

Question

我正在尝试提出一种算法来在map reduce中进行以下操作。 我收到了一堆对象和所有者的用户ID。 换句话说，我收到了一堆对：

(object, uid)

我想以对(object,count)的列表结尾，其中count表示对象在列表中出现的次数。 需要注意的是，我们将需要过滤所有内容，如下所示：

1. 我们应该仅包括对象对，以便至少n不同的uid重复该对象。

2. 我们只应包括这样的对象，即它重复的总次数至少为m。

对象和用户均表示为整数。 问题在于将每个(object,uid)对转换为(object, 1) ，然后通过对第二个整数求和将它们减少在一起是微不足道的。 然后，我可以过滤未达到（2）阈值的所有内容。 但是，在这一点上，我已经失去了通过（1）进行过滤所必需的信息，这是我不知道如何将其纳入其中的内容。 有人有什么建议吗？

Answer 1

最简单，最自然的方法是依次运行两个MR作业。 第一项工作的目标是计算每个uid拥有每个object多少次。 结果是三元组（ object ， uid ， count ）。 此处的uid字段仅用于调试目的-第二个作业中不需要。 第二工作按object三胞胎分组。 在每个reduce（）调用的结尾，您知道：

1. 对象的不同uid的数量（接收到的三元组的数量）
2. 拥有object时间总数（ count字段的总和）

因此，现在您可以同时应用两个过滤器。

---

也可以进行单作业设置，但需要使用setSortComparatorClass（） ， setGroupingComparatorClass（）和setPartitionerClass（）在较低的级别上对作业进行操作。 想法是map（）应该发出包含object和uid字段的复合键，根本不使用value（NullWritable）：

1. 分区程序类仅通过使用键的object字段对键进行分区。 这保证了具有相同object所有记录将进入相同的reduce任务。
2. SortComparator类的实现方式是，它首先比较object字段，如果它们相同，则比较uid字段。
3. GroupingComparatorClass仅使用object字段进行比较。

结果，单个reduce任务的输入将如下所示：

object1 uid1
object1 uid2
object1 uid2
object1 uid2
object1 uid5
object1 uid6
object1 uid6
------------  <- boundary of call to reduce
object7 uid1
object7 uid1
object7 uid5
------------- <-- boundary of call to reduce()
object9 uid3

如您所见，在每次调用reduce（）的过程中，uid都是严格排序的，这使您可以同时计算不同和不同的uid的数量。