Scala：將隨機值寫入JSON並保存在文件中，然后在Spark中進行分析

Question

我想向JSON寫十（或十億）個事件並保存為文件。

我在Scala的Databricks筆記本中寫作。 我希望JSON字符串為“Carbs”等字段隨機生成值：

{"Username": "patient1", "Carbs": 92, "Bolus": 24, "Basal": 1.33, "Date": 2017-06-28, "Timestamp": 2017-06-28 21:59:...}

我成功地使用以下內容將日期寫入Array（），然后另存為JSON文件。

val dateDF = spark.range(10)
  .withColumn("today", current_date())

但是，將隨機值寫入數組然后將數組保存為JSON文件的最佳方法是什么？

Answer 1

您將RDD轉換為dataframe，然后另存為json格式

dataframe.write.mode('append').json(path)