如何在 Azure 數據塊中自動化長時間運行的代碼和保存數據？

Question

我正在使用 Azure 數據塊中的 %run 功能從命令筆記本按順序執行許多筆記本。 一個筆記本對數據集的計算時間很長（約 5 小時），我想保存其中的 output。 我嘗試在長時間運行的筆記本末尾包含保存步驟，但保存超時（請參閱下面的錯誤）。 我只在長時間運行的筆記本需要 2 小時以上才能運行時看到此錯誤。 有什么辦法可以自動化嗎？

我可以通過命令筆記本中的 %run 功能將我想要的數據傳回並將數據保存在那里，但我必須在長時間運行的筆記本之后手動運行保存，否則我會收到相同的身份驗證超時錯誤。 我希望能夠擁有一個只需要單擊“全部運行”的筆記本。

Answer 1

我發現最好將長筆記本分解成更小的筆記本並使用多任務作業調度程序來幫助按順序運行它們。