DBUtils 下载文件但文件不存在于本地

Question

我正在尝试在数据块外部使用DBUtils中的pyspark.dbutils ，它在本地复制文件时没有显示警告或错误，但目标文件夹中不存在文件。

我可以使用 dbutils.fs.ls 检查文件是否存在于dbutils.fs.ls上，并且文件确实存在。

我的 pyspark session 配置了databricks-connect ，我可以用它做 SQL。

这就是我配置databricks-connect以连接到我的集群的方式：

DATABRICKS_ADDRESS="https://xxxxxxxxxxxxxxx.azuredatabricks.net/"
DATABRICKS_API_TOKEN="xxxxxxxxxxxxxxxxxxxxxxxx"
DATABRICKS_CLUSTER_ID="0000-0000-0000"
DATABRICKS_ORG_ID="0000000000000"
DATABRICKS_PORT="0000"
stdin_list = [DATABRICKS_ADDRESS, DATABRICKS_API_TOKEN, DATABRICKS_CLUSTER_ID, DATABRICKS_ORG_ID, DATABRICKS_PORT]
stdin_string = '\n'.join(stdin_list)
echo = subprocess.Popen((['echo', '-e', stdin_string]), stdout=subprocess.PIPE)
output = subprocess.check_output(('databricks-connect', 'configure'), stdin=echo.stdout)

然后我从 databricks 集群中获取 SparkSession（如果正在运行；否则等待唤醒）

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

现在我可以在 DBFS 上配置 DBUtils 和操作文件：

from pyspark.dbutils import DBUtils
dbutils = DBUtils(spark)
dbutils.fs.cp("dbfs:/data/project/my_file.model", "/mnt/c/Users/my_user/project/my_file.model")


22/09/12 12:00:45 WARN SparkServiceRPCClient: Large server response (46597327 bytes compressed)
22/09/12 12:00:45 WARN SparkServiceRPCClient: Large server response (49063049 bytes total)
22/09/12 12:00:45 WARN DBFS: DBFS open on dbfs:/data/project/my_file.model took 6857 ms
22/09/12 12:00:52 WARN DBFS: DBFS create on /mnt/c/Users/my_user/project/my_file.model took 6758 ms

但是我的文件夹/mnt/c/Users/my_user/project/没有文件my_file.model 。

FileNotFoundError: [Errno 2] No such file or directory: '/mnt/c/Users/my_user/project/my_file.model'

Answer 1

我发现我正在 DBFS 中移动数据。 所以行为是正常的。 我认为该工具是用来交互本地/远程文件的。

我需要的是使用DBFS CLI或内部 pyspark fonctions 。 （适用于任何分布式文件系统，DBFS/HDFS）

如果链接失效，您可以查找JVM gateway或copyToLocalFile pyspark