在 Azure 中自動執行 Jupyter notebook

Question

我在 Jupyter notebook 中有一個腳本，它為提供的數據集創建交互式圖表。 然后，我將 output 轉換為不帶輸入的 HTML 文件，以便為該數據集創建報告以與我的同事共享。 我還使用 papermill 對過程進行參數化，我將文件的名稱發送給它，它會為我創建一個報告。 所有數據集都存儲在 Azure 數據湖中。

現在，當我在本地計算機上執行此操作時，這一切都非常容易，但我想自動化該過程以每小時為新傳入的數據集生成報告並將 HTML 輸出存儲在 azure 數據湖中，我想運行此自動化雲端。

我最初是從使用自動化帳戶開始的，但我不知道如何在自動化帳戶中執行 jupyter 筆記本，以及將我的 .ipynb 文件存儲在哪里。 我還查看了 azure 雲上的 jupyter hub 服務器 (VM)，但我也無法理解如何使其自動化。

任何人都可以幫助我以最便宜的方式在 Azure 雲上自動化整個過程，因為我必須生成大量報告。

謝謝！

Answer 1

除了自動化之外，您還可以使用本文檔中提到的Azure 函數：

· 要運行基於 PowerShell 的 Jupyter 筆記本，您可以在 Azure function 中使用 PowerShell 來調用Invoke-ExecuteNotebook cmdlet。 這類似於上面針對自動化作業描述的技術。 有關詳細信息，請參閱Azure 函數 PowerShell 開發人員指南。

· 要運行基於 SQL 的 Jupyter Notebook，您可以在 Azure function 中使用 PowerShell 來調用Invoke-SqlNotebook cmdlet。 有關詳細信息，請參閱Azure 函數 PowerShell 開發人員指南。

· 要運行基於 Python 的 Jupyter Notebook，您可以在 Azure function 中使用 Python 調用 papermill。 有關詳細信息，請參閱Azure 函數 Python 開發人員指南。

參考資料： 15 分鍾內在雲端運行 Jupyter Notebook #Azure | 通過 Anish Mahapatra | 面向數據科學， 如何每天自動運行一個代碼為Python的Jupyter筆記本？ - Azure 上的堆棧溢出和Python 腳本的計划執行 - 堆棧內存溢出