[英]A python package with static file dependency fails to read static file when used within Pyspark
[英]How upgrade a jar file dependency within the Python 3.9 PySpark package?
如何在 python package 中升級 jar 文件? 我需要在pyspark內升級到最新版本的log4j。
/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/pyspark/jars/log4j-1.2.17.jar
我嘗試使用以下升級 PySpark,因為我安裝了多個 Python 版本。 我是管理 Python 安裝的新手。 任何指針? 謝謝。
python3.9 -m pip install pyspark --upgrade
(在 MacOS 上)
目前,最新版本的 pyspark(3.2.1 從 2022 年 1 月 26 日起)附帶log4j-1.2.17.jar
,即直接捆綁在 pip 下載的tar.gz
中,然后解壓安裝。 因此,它不能單獨升級,即沒有自動方式。
您也許可以簡單地手動替換.jar
文件,但我懷疑當較新版本的1.2.17
與 1.2.17 不同時,您可能會遇到問題。 我懷疑如果更新版本兼容,package 的開發者可能會使用它
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.