[英]A python package with static file dependency fails to read static file when used within Pyspark
[英]How upgrade a jar file dependency within the Python 3.9 PySpark package?
如何在 python package 中升级 jar 文件? 我需要在pyspark内升级到最新版本的log4j。
/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/pyspark/jars/log4j-1.2.17.jar
我尝试使用以下升级 PySpark,因为我安装了多个 Python 版本。 我是管理 Python 安装的新手。 任何指针? 谢谢。
python3.9 -m pip install pyspark --upgrade
(在 MacOS 上)
目前,最新版本的 pyspark(3.2.1 从 2022 年 1 月 26 日起)附带log4j-1.2.17.jar
,即直接捆绑在 pip 下载的tar.gz
中,然后解压安装。 因此,它不能单独升级,即没有自动方式。
您也许可以简单地手动替换.jar
文件,但我怀疑当较新版本的1.2.17
与 1.2.17 不同时,您可能会遇到问题。 我怀疑如果更新版本兼容,package 的开发者可能会使用它
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.