Anaconda + Spark - 改變ipython筆記本的python版本

Question

我安裝了Anaconda，並試着在上面使用spark。 當我使用Ipython_OPTS =“notebook”啟動spark時，python版本是與anaconda的python版本相關聯的筆記本版本。

$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython                      0.13                     py26_0  defaults
                          *  4.1.2                    py35_1  defaults
ipython-notebook             0.13.2                   py27_0  defaults
                             4.0.4                    py27_0  defaults
                             4.0.4                    py34_0  defaults
                             4.0.4                    py35_0  defaults
python                       1.0.1                         0  defaults
                          .  2.7.11                        0  defaults
                          *  3.5.1                         0  defaults

如果啟動spark-shell，我可以精確地了解我感興趣的環境版本（我想要2.7.11）：

$ PYSPARK_PYTHON=/Applications/anaconda/anaconda/envs/vingt-sept/bin/python  pyspark
Python 2.7.11 |Continuum Analytics, Inc.| (default, Dec  6 2015, 18:57:58)

但如果我用ipython筆記本啟動spark，那么它默認返回到python 3.5版本:-(

如何將默認的ipython版本鏈接到與我的env“vingt-sept”相同的版本？

Answer 1

與為pyspark shell設置PYSPARK_PYTHON環境變量的方式pyspark ，您也可以使用以下命令在IPython / Jupyter筆記本中設置此環境變量：

import os
os.environ["PYSPARK_PYTHON"] = "/Applications/anaconda/anaconda/envs/vingt-sept/bin/python"

有關從筆記本中設置PYSPARK_PYTHON和其他與Spark相關的環境變量的詳細信息，請參閱此博客文章 。