無法在 pyspark 中導入 csv

Question

我正在嘗試將 csv 導入數據幀，但無法做到這一點。 這是代碼。

csv_2_df = spark.read.csv("home/jovyan/oneDay.csv").option("inferSchema","true").option("mode", "DROPMALFORMED")

當我嘗試運行上面的代碼時，出現以下錯誤

 'Path does not exist: file:/home/jovyan/oneDay.csv;'

在這里設置上下文我試圖在一個 jupyter docker 文件中這樣做，其中根設置為 /home/jovyan/ 並且我已經上傳了我的 csv 文件。 我在這里要做的就是加載 csv ，我可以使用 textfile API 來做到這一點

data = sc.textFile('/home/jovyan/oneDay.csv') 

但我正在嘗試使用 CSV API，因為它讓我可以選擇刪除格式錯誤的行。 任何幫助表示贊賞。

Answer 1

正如@cronoik 所評論的，嘗試在您的路徑中添加一個正斜杠：

csv_2_df = spark.read.csv("/home/jovyan/oneDay.csv").option("inferSchema","true").option("mode", "DROPMALFORMED")