如何在 Databricks 中升級 python 版本

Question

我們將Databricks從10.3升級到10.4 LTS 。 但是python版本沒有從python 3.8.10更改。

問題：在Databricks - version 10.4中，我們如何將 python 版本從python 3.8.10升級到python 3.10 ？

更新：我想使用 python 3.10 中提供的一些新功能，例如match case Statement 。

Answer 1

可能無法在 Databricks 集群中升級 python 的版本。 每個集群都有一個預定義的配置，由特定版本的Spark, Scala and Python 。

我們將 Databricks 從 10.3 升級到 10.4 LTS。 但是 python 版本從 python 3.8.10 沒有變化

• 這是因為 Databricks 10.3 和 10.4 LTS 的 python 版本為3.8.10 。

一種解決方案是Edit the cluster以更改為支持所需配置的 Databricks 運行時。 為此，請導航至compute -> click on your cluster -> edit並選擇所需的數據塊運行時。

但目前，Azure databricks 中支持的最高 python 版本是Databricks runtime 11.1的Python 3.9.5 。 請參閱此 Microsoft 文檔以了解有關 Databricks 運行時的功能和配置的更多信息

Answer 2

您也許可以在集群可以使用的 Docker 映像上安裝 python 3.10.5，而不是標准運行時。

https://docs.databricks.com/clusters/custom-containers.html

您可以在最小配置的基礎上進行構建。 我做了一個最小的例子

FROM databricksruntime/minimal:experimental

# Installs python 3.10 and virtualenv for Spark and Notebooks
RUN apt-get update \
  && apt-get install -y \
    python3.10 \
    virtualenv \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

# Initialize the default environment that Spark and notebooks will use
RUN virtualenv -p python3.10 --system-site-packages /databricks/python3

# Specifies where Spark will look for the python process
ENV PYSPARK_PYTHON=/databricks/python3/bin/python3

您將需要安裝所有其他 python 庫，因此該過程有點乏味。