Pyspark RDD操作！ （Python3，Spark2）

Question

我有一个包含以下内容的“ input.txt”文件：

[10,21,90,34,40,98,21,44,59,21,90,34,29,19, 21,90,34,29,49,78 ]

因为我是初学者，所以我尝试使用RDD操作对上述文件执行以下操作。 （我能够通过将RDD元素复制到列表中来执行此操作）：

• 我想显示上面给定的列表和列表的第一个元素。

• 我想通过RDD显示排序的输出（升序和降序），并使用RDD显示列表的不同元素。

• 显示给定列表的最大值和最小值。

• 将上面的列表与以下格式的新输入组合： {30,35,45,60,75,85}并显示输出。

• 使用带有不同值的reduce提供列表元素的总和。

• 使用reduce提供列表元素的总和。

我可以使用Pyspark动作和变换来完成上述所有任务吗？还是我有野心？ 道歉这么多问题。 我只呆了一个星期。

编辑

我不想用代码对列表进行硬编码。 我想读取文件（input.txt）。 我尝试使用

data = sc.textFile("./input.txt")
collected = data.collect()
print(data)
d2 = d1[0].encode('ascii', 'ignore')
print(d2)

但是，使用这种方法，我无法将rdd转换为Int列表，而不将其转换为普通的Python列表（d3 = d2.strip（“ {}”）。split（'，'））。

我无法使用max（d2）或d2.max（）获得tha max，因为它说max是未分配的。

我希望我现在能使自己清楚！

Answer 1

首先，将数据放入RDD：

rdd = sc.parallelize([10,21,90,34,40,98,21,44,59,21,90,34,29,19, 21,90,34,29,49,78])

显示上面给定的列表和列表的第一个元素。

rdd.collect()
rdd.take(1)

我也想通过RDD显示排序的输出（升序和降序），并使用RDD显示列表的不同元素。

rdd.distinct().sortBy(lambda x:x).collect()
rdd.distinct().sortBy(lambda x:-x).collect()

显示给定列表的最大值和最小值。

rdd.max()
rdd.min()

将上面的列表与以下形式的新输入组合：{30,35,45,60,75,85}并显示输出。

newrdd = sc.parallelize({30,35,45,60,75,85})
rdd.union(newrdd).collect()

使用带有不同值的reduce提供列表元素的总和。

rdd.distinct().reduce(lambda x,y:x+y)

使用reduce提供列表元素的总和。

rdd.reduce(lambda x,y:x+y)

PS实际上，如果按rdd降序对元素进行排序，则max元素是该rdd的第一个元素。 因此， 无需使用max()即可获取此rdd的max() ，因此，这是代码：

rdd.distinct().sortBy(lambda x:-x).take(1)