Databricks 筆記本命令僅在計划為作業時跳過

Question

我有一個帶有一些代碼 (Python) 的 databricks 筆記本，可以將文件從 dbfs 上傳到 SharePoint 位置。 筆記本在獨立執行時正常運行，並且文件已上傳，但是當我嘗試使用 ADF 或 Databricks 作業安排它時，SharePoint 上傳的命令被跳過。

其他命令執行正常。 我正在使用 O365 REST Python 客戶端進行 Sharepoint 上傳。 我不確定我選擇的圖書館是否會導致這種情況發生。

有沒有人遇到過類似的事情？

Answer 1

從信息中，不清楚這是否在您的代碼中，但也許它會幫助您或其他人在作業模式下運行時解決神秘的“跳過命令”問題，如下所示：

當一個筆記本使用運行調用運行另一個筆記本時會發生這種情況，例如%run ./subordinate_notebook並且該下級筆記本以dbutils.exit("Some message")結尾

在這種情況下，在從屬筆記本退出后，主筆記本中的剩余單元格將被跳過。 將顯示消息“命令已跳過”。

請注意， %run 的行為與 dbutuls.notebook.run() 不同

使用result_message = dbutuls.notebook.run(./subordinate_notebook)將避免這個問題。 刪除dbutils.exit("Some message")也將消除該問題。

我希望這有幫助。