[英]Native snappy library not available
我正在嘗試在scala使用spark對某些數據幀進行大量聯接。 當我嘗試獲取此處生成的最終數據幀的計數時，出現以下異常。 我正在使用spark-shell運行代碼。
在啟動spark-shell時，我嘗試了以下配置參數。 但是他們都不起作用。 我在這里想念什么嗎？ ：
--conf "spark.driver.extraLibraryPath=/usr/hdp/2.6.3.0-235/hadoop/lib/native/"
--jars /usr/hdp/current/hadoop-client/lib/snappy-java-1.0.4.1.jar
原因：java.lang.RuntimeException：本機快照庫不可用：此版本的libhadoop是在沒有快照支持的情況下構建的。 在org.apache.hadoop.io.compress.SnappyCodec.getDecompressorType（SnappyCodec.java:193）的org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded（SnappyCodec.java:65）
嘗試從2.6.3.更新Hadoop jar文件2.6.3. 到2.8.0或3.0.0 。 Hadoop的早期版本中存在一個錯誤 ： 本機snappy庫不可用 。 修改Hadoop核心jar之后，您應該能夠執行快速的壓縮/解壓縮。
在 Scala 和 Spark 中讀取 zst 存檔：本機 zStandard 庫不可用
[英]Reading a zst archive in Scala & Spark: native zStandard library not available
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.