Pyspark：具有令牌列表的RDD到具有每行一個令牌的RDD的列表

Question

我有一個帶有令牌的列表列表，例如：

mylist = [['hello'],
          ['cat'],
          ['dog'],
          ['hey'],
          ['dog'],
          ['I', 'need', 'coffee'],
          ['dance'],
          ['dream', 'job']]

myRDD = sc.parallelize(mylist)

我正在努力尋找將導致RDD的操作，其中每一行都是一個令牌。 我想要的輸出是：

[['hello'],
['cat'],
['dog'],
['hey'],
['dog'],
['I'], 
['need'], 
['coffee'],
['dance'],
['dream'], 
['job']]

正確的語法是什么？ 謝謝

Answer 1

只是flatMap ：

myRDD.flatMap(lambda xs: ([x] for x in xs))