使用Python在Spark中將具有Unicode數據列表的RDD轉換為元組的RDD

Question

我有一個帶有unicode數據list的RDD ，例如：

[[u'2002-03-31',u'emp1',u'20000'],[u'2002-05-11',u'emp2',u'23050'],[u'2002-05-17',u'emp1',u'23300']...]

我想用tuple將其轉換為RDD ，例如：

[(u'2002-03-31',u'emp1',u'20000'),(u'2002-05-11',u'emp2',u'23050'),(u'2002-05-17',u'emp1',u'23300')...]

如何做呢？

Answer 1

您可以簡單地使用tuple映射：

rdd = sc.parallelize([
    [u'2002-03-31', u'emp1', u'20000'],
    [u'2002-05-11', u'emp2', u'23050'],
    [u'2002-05-17', u'emp1', u'23300']])

tuples = rdd.map(tuple)
tuples.first()
## ('2002-03-31', 'emp1', '20000')