读取csv文件时MS Databricks Spark中绝对URI中的相对路径

Question

我是 Pyspark 的新手，正在尝试使用 Databricks 中的数据库。

我试图使用以下语法从本地计算机读取 csv 文件：

df = spark.read.format("csv").option("header", True).load("C:\\Users\\***\\Desktop\\MasterFile_v0.csv")

并收到此错误消息： java.net.URISyntaxException: Relative path in absolute URI: C:%5CUsers%5C****.10%5CDesktop%5CMasterFile_v0.csv

只是想知道如何解决这个问题。

另外，我使用 Pandas 来读取 csv 但需要安装 xlrd，并且我在 databricks 中使用了%pip install xlrd xlrd 但似乎我没有这样做的凭据。

如果对我阅读本地文件有任何建议，那就太好了。 谢谢！ C

Answer 1

您无法从 Databricks 访问计算机上的文件 - 它在云中运行，并且集群无法访问您的本地磁盘。

您需要将文件上传到 Databricks 文件系统。 有多种方法可以做到这一点（在docs 中列出）：

1. 使用上传数据 UI
2. 使用Databricks CLI （可能不适用于社区版）
3. 将文件放到云存储（Azure 数据湖、AWS S3 等）上，并从 Spark 访问它