Py4JJavaError：調用 o389.csv 時出錯

Question

我是 pyspark 的新手。 我正在使用數據塊運行 pyspark。 我的數據存儲在 Azure 數據湖服務中。我正在嘗試從 ADLS 讀取 csv 文件到 pyspark 數據框。 所以我寫了以下代碼

import pyspark
from pyspark import SparkContext 
from pyspark import SparkFiles

df = sqlContext.read.csv(SparkFiles.get("dbfs:mycsv path in ADSL/Data.csv"), 
   header=True, inferSchema= True)

但我收到錯誤信息

Py4JJavaError: An error occurred while calling o389.csv.

你能建議我糾正這個錯誤嗎？

Answer 1

SparkFiles類用於訪問作為 Spark 作業的一部分提供的文件。 如果您只需要訪問 ADLS 上可用的 CSV 文件，那么您只需要使用spark.read.csv ，例如：

df = spark.read.csv("dbfs:mycsv path in ADSL/Data.csv", 
  header=True, inferSchema=True)

最好不要使用sqlContext ，它是出於兼容性原因而保留的。