錯誤：org.apache.spark.sql.AnalysisException：無法推斷CSV模式

Question

我嘗試使用以下基本命令在Scala中讀取CSV：

val df = spark.read
  .option("header", "true")
  .option("sep","|")
  .option("inferSchema", "true")
  .csv("path/to/_34File.csv")

我得到：

org.apache.spark.sql.AnalysisException: Unable to infer schema for CSV. It must be specified manually.

有什么解決方案？

Answer 1

解決方案是將文件從“ _34File.csv”重命名為“ 34File.csv”。 這是一個特殊的案例，對我有用。