如何减少列列表中列值的出现次数？

Question

我有一个RDD用户

 userID, movieID, list of movieIDs
[(69120, (296, [296, 356, 2858, 608, 588, 1580, 597, 153, 4306, 587]))],...

我希望计算第二列值在第三列列表中的次数。

userMovies.reduceByKey(lambda v : 1 if v[1][0] in v[1][1] else 0).take(1)

我尝试通过reduceByKey加1或0来获得RDD，然后将总RDD值相加，就像所有1的总和一样。 但是reduceByKey返回相同的RDD且不给出1或0。

编辑：

userMovies.map(lambda tup: (tup[0], (tup[1][0], 1 if tup[1][0] in tup[1][1] else 0))).reduceByKey(lambda a,b: a[1][1]+b[1][1]).take(2)

退货

[(43450, (84152, 0)), (60830, (345, 0))]

我只需要一个行列[（totalsum）]而不是每个键

Answer 1

您是否尝试仅使用Counter（）？

from collections import Counter

a = [(69120, (296, [296, 356, 2858, 608, 588, 1580, 597, 153, 4306, 587]))]
k = a[0][1][0]
i = a[0][1][1]
r = Counter(i)[k] #occurrences of k in i also i.count(k) would be ok.

>>> print(k, r)
296 1

Answer 2

如果将RDD映射到第二个元组元素，则应该可以通过以下键进行缩减：

rdd = sc.parallelize([(69120, (296, \
        [296, 356, 2858, 608, 588, 1580, 597, 153, 4306, 587]))])

rdd = rdd.map(lambda tup: (tup[0], (tup[1][0], 1 if tup[1][0] in tup[1][1] else 0)))

这将保持相同的元组结构，但用其中出现的电影ID的数目替换电影列表：

dd.collect()

该代码输出：

[(69120, (296, 1))]

即(userID, (movieID, 1 if found else 0))

如果您需要计算每个电影的观看总数（针对所有用户）：

rdd.map(lambda l: l[1])\
   .reduceByKey(lambda a,b: a+b)\
   .collect()

使用此收藏集，单个电影的结果将相似：

[(296, 1)]