從 JSON 中提取少量字段並在 Pyspark Dataframe 中以地圖的形式返回其余部分

Question

我正在讀取 pyspark 數據幀中的流數據，該數據包含每個數據/請求中都存在的幾個字段。 我想精確這些字段並為其創建一個數據框列，並希望將其余字段作為地圖存儲在另一個數據框列中。 我無法實現

如果有人可以幫忙嗎？

例子：

樣本值：

{"event1":"Value","event2":"Value","event3":"Value","event4":"Value","event5":"Value","event6":"Value"}
{"event1":"Value","event2":"Value","event3":"Value","data1":"Value","data2":"Value","data3":"Value"}

現在假設每一行都存在 event1,event2,event3，所以我想將其提取並作為單獨的數據框列，其余字段作為鍵值對的映射，這將是另一個數據框。

Answer 1

您需要為您的數據框創建一個模式並使用from_json將其轉換為 Spark 中的StructType 。 然后，您可以選擇您的特定事件並為其他事件創建另一個數據框。