觸發 Databricks Notebook 的方法

Question

有人可以讓我知道觸發 Databricks 筆記本的可能方法嗎？ 我的首選方法是通過 Azure 數據工廠，但遺憾的是我的公司目前不願意及時部署 ADF。

基本上，我希望在將 blob 上傳到 Blob 存儲時觸發我的 Databricks 筆記本。 那可能嗎？

Answer 1

您可以試試 Auto Loader：Auto Loader 支持兩種檢測新文件的模式：目錄列表和文件通知。

目錄列表： Auto Loader 通過列出輸入目錄來識別新文件。 目錄列表模式允許您快速啟動 Auto Loader 流，無需任何權限配置，除了訪問您在雲存儲上的數據。 在 Databricks Runtime 9.1 及更高版本中，Auto Loader 可以自動檢測文件是否按詞法順序到達您的雲存儲，並顯着減少檢測新文件所需的 API 調用量。

文件通知： Auto Loader 可以自動設置通知服務和隊列服務，從輸入目錄訂閱文件事件。 文件通知模式對於大型輸入目錄或大量文件具有更高的性能和可擴展性，但需要額外的雲權限才能設置。

參考 - https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader