如何在已存在的數據框中添加來自json（字典數組）的行？

Question

嗨，我已經有一個數據框：df_init與所有列：

A|B|C|D

我收到一個像這樣的json：

json=[{"A":"1","B":"2","C":"3"},
{"A":"1","B":"2","C":"3","D":"4"},
{"A":"1","B":"2"}]

我想像df_final一樣：

A|B|  C |D
1|2|  3 |None
1|2|  3 |4
1|2|None|None

如果我做：

msgJSON=self.spark.sparkContext.parallelize([json_string],1)
            df = self.sqlContext.read.option("multiLine", "true").options(samplingRatio=1.0).json(msgJSON)        

但是我有一些錯誤的問題。

謝謝

Answer 1

json = [{"A":"1","B":"2","C":"3"},
        {"A":"1","B":"2","C":"3","D":"4"},
        {"A":"1","B":"2"}]

msgJSON = spark.sparkContext.parallelize([json],1)
df_final = sqlContext.read.option("multiLine","true").options(samplingRatio=1.0).json(msgJSON)

df_final.show()
+---+---+----+----+
|  A|  B|   C|   D|
+---+---+----+----+
|  1|  2|   3|null|
|  1|  2|   3|   4|
|  1|  2|null|null|
+---+---+----+----+

我復制了沒有關鍵字self的代碼。 您不能在任何地方使用self 。

• 有關更多信息，請參閱： 解釋了python中的self變量