如何在Spark Dataset中將字符串值替換為int？

Question

例如，輸入數據：

1.0
\N

架構：

val schema = StructType(Seq(
  StructField("value", DoubleType, false)
))

讀入Spark數據集：

val df = spark.read.schema(schema)
    .csv("/path to csv file ")

當我使用此數據集時，我將得到一個異常，因為“ \\ N”對double無效。 如何在此數據集中將“ \\ N”完全替換為0.0？ 謝謝。

Answer 1

如果數據格式錯誤，請不要使用類型不當的架構。 將輸入定義為StringType ：

val schema = StructType(Seq(
 StructField("value", StringType, false)
))

並稍后投射數據：

val df = spark.read.schema(schema).csv("/path/to/csv/file")
  .withColumn("value", $"value".cast("double"))
  .na.fill(0.0)