ADF 數據塊 python 活動從 blob 存儲而不是 dbfs 中選擇 python 腳本

Question

我正在從 Azure 數據工廠運行 databricks python 活動。 我想從 Azure blob-storage/data-lake 中選擇 python/shell 腳本而不是 dbfs 路徑。 我當前的 ADF 數據塊 python 活動不允許沒有 'dbfs:/'。

你能在這里幫助我嗎？

Answer 1

Databricks Python 活動僅支持 dbfs 文件路徑： https ://docs.microsoft.com/en-us/azure/data-factory/transform-data-databricks-python#databricks-python-activity-properties

您需要考慮使用 databricks cli 將 python 文件上傳到 dbfs 的其他方法，也可能通過您的 cicd 管道。