reduceByKey和mapValues如何同时工作？

Question

在大数据领域，我是一个崭新的火花。 我有一个代码，实际上创建了一个函数，该函数拆分CSV文件并返回两个字段。

然后是我知道它如何工作的map函数，但是我对代码的下一部分感到困惑（正在对totalsByAge变量进行操作），正在应用mapValues和reduceByKey。 请帮我了解reduceByKey和mapValues在这里如何工作？

def parseLine(line):
fields = line.split(',')
age = int(fields[2])
numFriends = int(fields[3])
return (age,numFriends)

line = sparkCont.textFile("D:\\ResearchInMotion\\ml-100k\\fakefriends.csv")
rdd = line.map(parseLine)
totalsByAge = rdd.mapValues(lambda x: (x, 1)).reduceByKey(lambda x, y: (x[0] + y[0], x[1] + y[1]))
averagesByAge = totalsByAge.mapValues(lambda x: x[0] / x[1])
results = averagesByAge.collect()
for result in results:
    print(result)

我需要totalsByAge变量处理方面的帮助。如果您还可以详细说明averagesByAge所完成的操作， 那将是很好的。请让我知道是否有任何缺失。

Answer 1

在rdd = line.map(parseLine)的行中，您具有(age, numFriends)格式的一对值，例如(a_1, n_1), (a_2, n_2), ..., (a_m, n_m) 。 在rdd.mapValues(lambda x: (x, 1))您将获得(a_1, (n_1, 1)), (a_2, (n_2, 1)), ..., (a_m, (n_m, 1)) 。

在reduceByKey ，首先按key分组，这意味着将所有相同的age分组到一个组中，您将拥有类似的东西(a_i, iterator over pairs of (n_j, 1) which all n_j has the same age) ，然后应用减少功能。 和减少部分是指所有的总和numFriends相互对每个年龄和1 s的对方，这总和1 s表示列表中的数项。

因此，在reduceByKey之后，我们将拥有(a_i, (sum of all numFriends in the list, number of items in the list)) 。 换句话说，外部对的第一个值是age ，第二个值是内部对，其第一个值是所有numFriends总和，第二个值是项数。 因此， totalsByAge.mapValues(lambda x: x[0] / x[1])给出了每个age numFriends平均值。