ADF 数据块 python 活动从 blob 存储而不是 dbfs 中选择 python 脚本

Question

我正在从 Azure 数据工厂运行 databricks python 活动。 我想从 Azure blob-storage/data-lake 中选择 python/shell 脚本而不是 dbfs 路径。 我当前的 ADF 数据块 python 活动不允许没有 'dbfs:/'。

你能在这里帮助我吗？

Answer 1

Databricks Python 活动仅支持 dbfs 文件路径： https ://docs.microsoft.com/en-us/azure/data-factory/transform-data-databricks-python#databricks-python-activity-properties

您需要考虑使用 databricks cli 将 python 文件上传到 dbfs 的其他方法，也可能通过您的 cicd 管道。