![](/img/trans.png)
[英]Setting up Pyspark for Jupyter Notebook: mismatch worker and driver python versions?
[英]Jupyter issue with python / pyspark versions
我使用pyspark内核运行Jupyter笔记本。 我收到以下错误。 我如何强制Jupyter(理想情况下来自Jupyter内部)使用正确的驱动程序?
工作中的Python与驱动程序2.7中的Python版本不同,PySpark不能与不同的次要版本一起运行
谢谢
哈尼
这可能是你的pyspark kernel.json配置中的一个问题。 例如,我的pyspark内核位于:
/usr/local/share/jupyter/kernels/pyspark/kernel.json
并包含:
{
"display_name": "pySpark (Spark 1.6.0)",
"language": "python",
"argv": [
"/usr/local/bin/python2.7",
"-m",
"ipykernel",
"-f",
"{connection_file}"
],
"env": {
"PYSPARK_PYTHON": "/usr/local/bin/python2.7",
"SPARK_HOME": "/usr/lib/spark",
"PYTHONPATH": "/usr/lib/spark/python/lib/py4j-0.9-src.zip:/usr/lib/spark/python/",
"PYTHONSTARTUP": "/usr/lib/spark/python/pyspark/shell.py",
"PYSPARK_SUBMIT_ARGS": "--master yarn-client pyspark-shell"
}
}
在两个地方( argv和PYSPARK_PYTHON )指向相同的python版本非常重要 。
希望有所帮助!
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.