Spark讀取CSV文件ClassCastException

Question

我像這樣啟動Spark 1.6.1：

./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3

我可以加載CSV文件，而不會出現以下錯誤：

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')

但是當我嘗試查看這樣的數據時：

df.head()

我收到這樣的錯誤：

16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException

Answer 1

我使用的是CSV庫的舊版本。 當我啟動spark時更改為以下參數時，錯誤消失了：

--packages com.databricks:spark-csv_2.11:1.4.0