[英]Spark 1.6: How do convert an RDD generated from a Scala jar to a pyspark RDD?
[英]How to get specific values from RDD in SPARK with PySpark
以下是我的RDD,有5个字段
[('sachin', 200, 10,4,True), ('Raju', 400, 40,4,True), ('Mike', 100, 50,4,False) ]
在这里,我只需要获取第一,第三和第五字段,如何在PySpark中进行操作。 预期效果如下。 我以几种方式尝试了reduceByKey,无法实现
Sachin,10,True
Raju,40,True
Mike,50,False
有一个简单的地图?
rdd.map(lambda x: (x[0], x[2], x[4]))
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.