aws EMR 5.23.0 版是否支持 python 3.7.x 版？

Question

目前我們正在使用 EMR 版本 5.23.0 來提交我們的 pyspark 作業。 我們想將 python 版本升級到 3.7，並想檢查當前 EMR 版本 5.23.0 是否支持 python 3.7。 AWS 上沒有關於版本兼容性的官方信息。 誰能幫我找出這些信息

Answer 1

根據實驗，EMR 5.30.x 和 6.0 版支持 Python 3.7，並通過配置關聯 PySpark：

'spark.pyspark.python', 'python3'

Answer 2

從 3.6 版本開始，它看起來像是 5.20 。

你當然可以修改它，但不能保證。

Answer 3

目前EMR自帶python v3.6.x

但我建議不要替換 python v3.6.x。 在引導期間安裝miniconda 。 Miniconda 可以讓您自由選擇 python 版本。

使用conda install <library-name> 。 但是不要安裝pyspark ，它已經與所有配置一起存在。 單獨安裝 pyspark 會導致配置問題。

您還可以創建自己的 AMI，並預先安裝所有內容。 這將減少您的引導時間。

對於pyspark shell：添加這 2 個環境變量

export PYSPARK_DRIVER_PYTHON=/<path-miniconda-home>/bin/python
export PYSPARK_PYTHON=/<path-miniconda-home>/bin/python

對於spark-submit ：添加這些配置

--conf spark.executorEnv.PYSPARK_DRIVER_PYTHON=/<path-miniconda-home>/bin/python
--conf spark.executorEnv.PYSPARK_PYTHON=/<path-miniconda-home>/bin/python
--conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=/<path-miniconda-home>/bin/python
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/<path-miniconda-home>/bin/python