如何通过 Azure Data Lake Store gen1 中的新文件触发 Azure Data Factory v2 或 Azure Databricks Notebook 中的管道

Question

我正在使用Azure Data Lake Store gen1来存储 JSON 文件。 基于这些文件，我在Azure Databricks 中有 Notebooks 来处理它们。 现在我想在Azure Data Lake Store gen1 中创建新文件时触发这样的Azure Databricks Notebook。 我找不到任何可以做到这一点的触发器。 你知道什么方法吗？

Answer 1

目前，这尚未由Microsoft实施/支持。 但这在他们的路线图上（我相信）。

你可以通过两种方式做到这一点，

1. Azure 函数（通过事件网格）

2. 逻辑应用

---

选项1

目前，微软正在构建#1。

您可以在此处跟踪问题。

按照这个

这个功能目前对我们来说不是一个高优先级，但我会注意到 Azure 事件网格的公告将数据湖列为他们正在构建的集成之一。 一旦您可以通过事件网格订阅数据湖更新，运行 Azure 函数将是微不足道的（请参阅此处了解一些信息）。

您可以投票支持 DataLake 中的事件网格（提供者）。

---

选项#2

这也尚未实现，但您可以在此处为您的声音点赞以支持此功能