无法在 pyspark 中导入 csv

Question

我正在尝试将 csv 导入数据帧，但无法做到这一点。 这是代码。

csv_2_df = spark.read.csv("home/jovyan/oneDay.csv").option("inferSchema","true").option("mode", "DROPMALFORMED")

当我尝试运行上面的代码时，出现以下错误

 'Path does not exist: file:/home/jovyan/oneDay.csv;'

在这里设置上下文我试图在一个 jupyter docker 文件中这样做，其中根设置为 /home/jovyan/ 并且我已经上传了我的 csv 文件。 我在这里要做的就是加载 csv ，我可以使用 textfile API 来做到这一点

data = sc.textFile('/home/jovyan/oneDay.csv') 

但我正在尝试使用 CSV API，因为它让我可以选择删除格式错误的行。 任何帮助表示赞赏。

Answer 1

正如@cronoik 所评论的，尝试在您的路径中添加一个正斜杠：

csv_2_df = spark.read.csv("/home/jovyan/oneDay.csv").option("inferSchema","true").option("mode", "DROPMALFORMED")