Azure Databricks 中的 Python 版本

Question

我正在尝试找出我在 Databricks 中使用的 python 版本。

找出我试过

import sys
print(sys.version)

我得到了 output 作为3.7.3

然而，当我去集群 - > SparkUI - > 环境

我看到集群 Python 版本是2 。

这是指哪个版本？

当我尝试跑步时

%sh python --version

我仍然得到 Python 3.7.3

每个工作程序/驱动程序节点是否可以有不同的 python 版本？

注意：我使用的设置有 1 个工作节点和 1 个驱动程序节点（共有 2 个节点，规格相同），Databricks 运行时版本为 6.5 ML

Answer 1

更新：此问题已修复。

对于新集群：如果您创建一个新集群，它将具有 python 环境变量为 3。

对于现有集群：您需要在Cluster Configuration > Advanced的 Environment Variables 选项卡中添加，它会在 Environment 变量中更改。

PYSPARK_PYTHON=/databricks/python3/bin/python3

谢谢让我们注意到这个。 这是一个产品错误，目前我正在与产品团队合作尽快解决问题。

使用 UI 创建的集群的默认 Python 版本是Python 3 。

作为 repro 的一部分，我创建了 Databricks Runtime Version: 6.5 ML 并观察到相同的行为。

集群 --> SparkUI --> 环境显示不正确的版本。

Answer 2

我相信您正在运行使用 Databricks Runtime 5.5 或更低版本的集群。 跑步时看到的

import sys
print(sys.version)

是 PYSPARK_PYTHON 环境变量引用的 python 版本。 Cluster --> SparkUI --> Environment中的那个是Ubuntu实例的python版本，即Python 2。

Answer 3

这适用于gooogle colab或MS Azure Databricks的所有笔记本：

!python --version