[英]How to run a python script in databricks on Azure datalake delta data
我有一個用 azure 數據塊編寫的 python 腳本，用於對“.txt”格式的原始文本文件進行 ETL，並且沒有存儲在 Azure datalake V2 中的模式我使用數據工廠從本地虛擬機遷移了這些文本文件。 我的要求是僅在遷移到 Azure 數據湖的新數據（增量數據）上運行 python 腳本。 我怎樣才能實現它？
您可以嘗試使用 azure function blob 觸發器或使用事件網格觸發器並將“blob created”設置為條件。 然后把ETL邏輯放到function的body里面。
這是官方文檔：
如何在不使用 Dataflow 或 Databricks 或 Azure 數據湖分析的情況下使用 Azure 數據工廠刪除文件中的重復項
[英]How to remove duplicates in a file using Azure Data Factory without using Dataflow or Databricks or Azure datalake analytics
如何在 databricks 工作區中使用 python 獲取 azure 數據湖存儲中每個文件的最后修改時間？
[英]How to get the last modification time of each files present in azure datalake storage using python in databricks workspace?
如何循環訪問 Azure Databricks 中的 Azure Datalake Store 文件
[英]How to loop through Azure Datalake Store files in Azure Databricks
使用 databricks 中的 python 日志記錄模塊將日志寫入 azure datalake 無法正常工作
[英]Writing log with python logging module in databricks to azure datalake not working
如何在Azure DataLake中合並基本和多個增量結構化流
[英]How to merge base and multiple delta structured streams in Azure DataLake
Azure 數據工廠 - 如何只讀取由 Databricks 構建的 Delta 格式 Parquet 中的最新數據集？
[英]Azure Data Factory - How to read only the latest dataset in a Delta format Parquet built from Databricks?
通過 azure databricks 從 azure datalake gen1 讀取數據時要遵循的最佳實踐
[英]The best practice to be followed when reading data from azure datalake gen1 through azure databricks
如何將python變量傳遞給Azure Databricks Notebookbles中的Shell腳本？
[英]How to pass a python variables to shell script in azure databricks notebookbles.?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
