如何在 Databricks 中升级 python 版本

Question

我们将Databricks从10.3升级到10.4 LTS 。 但是python版本没有从python 3.8.10更改。

问题：在Databricks - version 10.4中，我们如何将 python 版本从python 3.8.10升级到python 3.10 ？

更新：我想使用 python 3.10 中提供的一些新功能，例如match case Statement 。

Answer 1

可能无法在 Databricks 集群中升级 python 的版本。 每个集群都有一个预定义的配置，由特定版本的Spark, Scala and Python 。

我们将 Databricks 从 10.3 升级到 10.4 LTS。 但是 python 版本从 python 3.8.10 没有变化

• 这是因为 Databricks 10.3 和 10.4 LTS 的 python 版本为3.8.10 。

一种解决方案是Edit the cluster以更改为支持所需配置的 Databricks 运行时。 为此，请导航至compute -> click on your cluster -> edit并选择所需的数据块运行时。

但目前，Azure databricks 中支持的最高 python 版本是Databricks runtime 11.1的Python 3.9.5 。 请参阅此 Microsoft 文档以了解有关 Databricks 运行时的功能和配置的更多信息

Answer 2

您也许可以在集群可以使用的 Docker 映像上安装 python 3.10.5，而不是标准运行时。

https://docs.databricks.com/clusters/custom-containers.html

您可以在最小配置的基础上进行构建。 我做了一个最小的例子

FROM databricksruntime/minimal:experimental

# Installs python 3.10 and virtualenv for Spark and Notebooks
RUN apt-get update \
  && apt-get install -y \
    python3.10 \
    virtualenv \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

# Initialize the default environment that Spark and notebooks will use
RUN virtualenv -p python3.10 --system-site-packages /databricks/python3

# Specifies where Spark will look for the python process
ENV PYSPARK_PYTHON=/databricks/python3/bin/python3

您将需要安装所有其他 python 库，因此该过程有点乏味。