Py4JJavaError：调用 o389.csv 时出错

Question

我是 pyspark 的新手。 我正在使用数据块运行 pyspark。 我的数据存储在 Azure 数据湖服务中。我正在尝试从 ADLS 读取 csv 文件到 pyspark 数据框。 所以我写了以下代码

import pyspark
from pyspark import SparkContext 
from pyspark import SparkFiles

df = sqlContext.read.csv(SparkFiles.get("dbfs:mycsv path in ADSL/Data.csv"), 
   header=True, inferSchema= True)

但我收到错误信息

Py4JJavaError: An error occurred while calling o389.csv.

你能建议我纠正这个错误吗？

Answer 1

SparkFiles类用于访问作为 Spark 作业的一部分提供的文件。 如果您只需要访问 ADLS 上可用的 CSV 文件，那么您只需要使用spark.read.csv ，例如：

df = spark.read.csv("dbfs:mycsv path in ADSL/Data.csv", 
  header=True, inferSchema=True)

最好不要使用sqlContext ，它是出于兼容性原因而保留的。