如何將dict類型直接加載到rdd

Question

我在python中取得了勝利

{'609232972': 4, '975151075': 4, '14247572': 4, '2987788788': 4, '3064695250': 2}

如何在不丟失鍵值對的情況下直接在rdd中加載它？

當我像這樣加載它

usr_group = sc.parallelize(partition)
print(usr_group.take(5))

我只是打破鍵值對並給出

['609232972', '975151075', '14247572', '2987788788', '3064695250']

我期待着RDD闖入

{'609232972': 4, '975151075': 4, '14247572': 4, '2987788788': 4, '3064695250': 2}

這樣我就可以一起處理鍵值對了

Answer 1

不確定你想要rdd作為一行，但這里有三個選項：

my_dict = {'609232972': 4, '975151075': 4, '14247572': 4, '2987788788': 4, '3064695250': 2}
rdd1 = sc.parallelize([my_dict])
rdd2 = sc.parallelize(list(my_dict.iteritems()))
rdd3 = rdd2.map(lambda x: (dict([x])))
print rdd1.collect()
print rdd2.take(4)
print rdd3.take(4)

[{'2987788788'：4，'975151075'：4，'3064695250'：2，'14247572'：4，'609232972'：4}]

[（'2987788788'，4），（'975151075'，4），（'3064695250'，2），（''14247572'，4）]

[{'2987788788'：4}，{'975151075'：4}，{'3064695250'：2}，{'14247572'：4}]