通過 requirements.txt 在 Azure Databricks 上維護庫/包

Question

有很好的文檔可以在 azure 數據塊上 1 對 1 安裝軟件包，但沒有一種方法可以執行以下操作：

pip install -r requirements.txt

或者完全使用需求文件。 我正在管理一個相當大的庫，並且想要一個簡單的過程，如果可能的話，允許一次安裝所有包/庫！

Answer 1

您可以通過以下方式在筆記本中記下所有必需的 Python 庫：

dbutils.library.installPyPI("torch")
dbutils.library.installPyPI("scikit-learn", version="1.19.1")
dbutils.library.installPyPI("azureml-sdk", extras="databricks")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this function

然后使用魔法命令%run /path/to/notebook_install_lib調用這個%run /path/to/notebook_install_lib 。 有關詳細信息，請閱讀此數據塊文檔

Answer 2

Databricks 運行時 >= 7.1 支持：

%pip install -r /dbfs/requirements.txt

鏈接到文檔。

Answer 3

要使第三方或本地構建的代碼可用於集群上運行的執行環境，您可以在集群上安裝一個庫。 庫可以用 Python、Java、Scala 和 R 編寫。您可以上傳 Java、Scala 和 Python 庫並指向 PyPI、Maven 和 CRAN 存儲庫中的外部包。

您可以使用 UI、CLI 和調用庫 API 來管理庫。

有關其他方法，請參閱Databricks CLI和庫 API 。

在 Databricks Runtime 5.1 及更高版本中，您還可以使用庫實用程序將 Python 庫直接安裝到筆記本會話中。 因為即使所有筆記本都在同一集群上運行，安裝到筆記本中的庫也保證不會干擾安裝到任何其他筆記本中的庫，所以 Databricks 建議您盡可能使用此方法。

請參閱創建工作區庫以創建庫。這是一項非常簡單的任務。

在下面，您可以找到相同的完整文檔

https://docs.databricks.com/user-guide/libraries.html

希望能幫助到你。