[英]How to run a python script in databricks on Azure datalake delta data
我有一个用 azure 数据块编写的 python 脚本，用于对“.txt”格式的原始文本文件进行 ETL，并且没有存储在 Azure datalake V2 中的模式我使用数据工厂从本地虚拟机迁移了这些文本文件。 我的要求是仅在迁移到 Azure 数据湖的新数据（增量数据）上运行 python 脚本。 我怎样才能实现它？
您可以尝试使用 azure function blob 触发器或使用事件网格触发器并将“blob created”设置为条件。 然后把ETL逻辑放到function的body里面。
这是官方文档：
如何在不使用 Dataflow 或 Databricks 或 Azure 数据湖分析的情况下使用 Azure 数据工厂删除文件中的重复项
[英]How to remove duplicates in a file using Azure Data Factory without using Dataflow or Databricks or Azure datalake analytics
如何在 databricks 工作区中使用 python 获取 azure 数据湖存储中每个文件的最后修改时间？
[英]How to get the last modification time of each files present in azure datalake storage using python in databricks workspace?
如何循环访问 Azure Databricks 中的 Azure Datalake Store 文件
[英]How to loop through Azure Datalake Store files in Azure Databricks
使用 databricks 中的 python 日志记录模块将日志写入 azure datalake 无法正常工作
[英]Writing log with python logging module in databricks to azure datalake not working
如何在Azure DataLake中合并基本和多个增量结构化流
[英]How to merge base and multiple delta structured streams in Azure DataLake
Azure 数据工厂 - 如何只读取由 Databricks 构建的 Delta 格式 Parquet 中的最新数据集？
[英]Azure Data Factory - How to read only the latest dataset in a Delta format Parquet built from Databricks?
通过 azure databricks 从 azure datalake gen1 读取数据时要遵循的最佳实践
[英]The best practice to be followed when reading data from azure datalake gen1 through azure databricks
如何将python变量传递给Azure Databricks Notebookbles中的Shell脚本？
[英]How to pass a python variables to shell script in azure databricks notebookbles.?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
