使用数据块 python 代码删除 azure 帐户中的文件
[英]Deleting files in azure account using databricks python code
问题描述
如何在数据块中编写 pyspark/python 代码以删除 azure 存储帐户中早于 X 天的文件。
1 个解决方案
解决方案1
0 2022-04-21 18:45:48
首先，您可以读取您的数据并使用input_file_name来确定需要删除、聚合和收集哪些文件，然后使用dbutils.fs来处理删除。
Python 代码列出 Azure Databricks 中每个子目录中的文件
[英]Python code to list files in each sub directory in Azure Databricks
使用数据块集群执行 azure 存储上存在的 python 代码
[英]Executing python code present on azure storage using databricks cluster
Python Azure 上的代码 Function 应用程序将 csv 文件转换为 Azure 存储帐户上的 excel
[英]Python code on Azure Function app to convert csv files to excel on Azure storage account
Databricks python/pyspark 代码，用于查找 azure 容器中 blob 的年龄
[英]Databricks python/pyspark code to find the age of the blob in azure container
在 Azure 数据块中使用 Pyspark 代码比使用 SQL 有什么好处？
[英]Any benefits of using Pyspark code over SQL in Azure databricks?
通过 Azure 使用凭据直通的数据块中的 python 脚本在 Azure Datalake 中查找文件/文件夹的最后修改时间戳
[英]Find Last modified timestamp of a files/folders in Azure Datalake through python script in Azure databricks that uses Credential passthrough
在 spark 集群配置数据块中参数化 azure 存储帐户名称
[英]parameterize azure storage account name in spark cluster config databricks
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在 Azure Databricks 上并行化 Python 代码
Python 代码列出 Azure Databricks 中每个子目录中的文件
使用数据块集群执行 azure 存储上存在的 python 代码
Python Azure 上的代码 Function 应用程序将 csv 文件转换为 Azure 存储帐户上的 excel
Databricks python/pyspark 代码，用于查找 azure 容器中 blob 的年龄
在 Azure 数据块中使用 Pyspark 代码比使用 SQL 有什么好处？
通过 Azure 使用凭据直通的数据块中的 python 脚本在 Azure Datalake 中查找文件/文件夹的最后修改时间戳
在 spark 集群配置数据块中参数化 azure 存储帐户名称
无法从 python 文件运行 azure 数据块
Python：Azure Databricks 中的数据匹配错误
相关标签