使用Spark讀取csv時用字符替換空行

Question

我的csv上有一些空行，並且在加載后會被刪除。 但是，我確實需要那些空行。 加載csv文件時，是否有任何方法可以將這些空行替換為值（例如0）？

這是我讀取數據的方式：

val mycsv = sparksession.read
      .format("com.databricks.spark.csv")
      .option("header", "true")
      .option("delimiter", "\t")
      .load("mycsvfile.csv")

Answer 1

有一個“ nullValue”選項，允許您指定要用於null的字符串。 每當您讀取文件時，都必須添加此選項。

option("nullValue", ["0"])