如何讀取 JSON 文件並在 Spark Scala 中寫入 JSON Lines 文件？

Question

我有一個 JSON 文件，我想將其轉換為 Spark scala 中的 JSON 行。 通過使用 Pandas read_json 方法，然后使用傳入的一些特殊行參數寫入它，我能夠在 Python 中弄清楚它。

說原始格式是：

{
            "A": "400",
            "B": "100",
            "C": "DEM",
            "D": "USD",
            "E": "80029898",
            "F": "1.64110-",
            "G": "0 "

        },
        {
            "A": "400",
            "B": "100",
            "C": "USD",
            "D": "DEM",
            "E": "80029898",
            "F": "1.64110 ",
            "G": "0 ",

        },

我想寫的是：

{"A":"400","B":"100","C":"DEM","D":"USD","E":"80029898","F":"1.64110-","G":"0"}
{"A":"400","B":"100","C":"USD","D":"DEM","E":"80029898","F":"1.64110 ","G":"0"}

非常感謝，祝您有美好的一天！

Answer 1

如果您使用 > spark 2.2，則可以使用：

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

然后使用以所需的格式編寫它：

df.write.json()