Azure Databricks 中的 Python 版本

Question

我正在嘗試找出我在 Databricks 中使用的 python 版本。

找出我試過

import sys
print(sys.version)

我得到了 output 作為3.7.3

然而，當我去集群 - > SparkUI - > 環境

我看到集群 Python 版本是2 。

這是指哪個版本？

當我嘗試跑步時

%sh python --version

我仍然得到 Python 3.7.3

每個工作程序/驅動程序節點是否可以有不同的 python 版本？

注意：我使用的設置有 1 個工作節點和 1 個驅動程序節點（共有 2 個節點，規格相同），Databricks 運行時版本為 6.5 ML

Answer 1

更新：此問題已修復。

對於新集群：如果您創建一個新集群，它將具有 python 環境變量為 3。

對於現有集群：您需要在Cluster Configuration > Advanced的 Environment Variables 選項卡中添加，它會在 Environment 變量中更改。

PYSPARK_PYTHON=/databricks/python3/bin/python3

謝謝讓我們注意到這個。 這是一個產品錯誤，目前我正在與產品團隊合作盡快解決問題。

使用 UI 創建的集群的默認 Python 版本是Python 3 。

作為 repro 的一部分，我創建了 Databricks Runtime Version: 6.5 ML 並觀察到相同的行為。

集群 --> SparkUI --> 環境顯示不正確的版本。

Answer 2

我相信您正在運行使用 Databricks Runtime 5.5 或更低版本的集群。 跑步時看到的

import sys
print(sys.version)

是 PYSPARK_PYTHON 環境變量引用的 python 版本。 Cluster --> SparkUI --> Environment中的那個是Ubuntu實例的python版本，即Python 2。

Answer 3

這適用於gooogle colab或MS Azure Databricks的所有筆記本：

!python --version