錯誤 SparkContext：初始化 SparkContext 時出錯。 java.lang.RuntimeException：java.lang.NoSuchFieldException：DEFAULT_TINY_CACHE_SIZE

Question

我正在嘗試運行火花作業，但低於錯誤。

21/12/24 15:40:43 ERROR SparkContext: Error initializing SparkContext.
java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
    at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:131)
    at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:118)
    at org.apache.spark.network.server.TransportServer.init(TransportServer.java:95)

這是正在使用的 netty 依賴項：

netty-3.7.0.Final.jar netty-all-4.0.43.Final.jar
netty-buffer-4.1.69.Final.jar netty-codec-4.1.69.Final.jar
netty-codec-http-4.1.69.Final.jar netty-codec-socks-4.1.60.Final.jar
netty-common-4.1.69.Final.jar netty-handler-4.1.69.Final.jar
netty-handler-proxy-4.1.60.Final.jar netty-resolver-4.1.69.Final.jar
netty-transport-4.1.69.Final.jar
netty-transport-native-epoll-4.1.69.Final.jar
netty-transport-native-epoll-4.1.60.Final-linux-x86_64.jar
netty-transport-native-kqueue-4.1.69.Final.jar
netty-transport-native-kqueue-4.1.60.Final-osx-x86_64.jar
netty-transport-native-unix-common-4.1.69.Final.jar

我也嘗試過使用netty-all 4.0.43版，但不知何故我得到了同樣的錯誤。 使用的火花版本：2.2.3 誰能幫我解決這個問題。

Answer 1

確保對所有內容強制使用相同的 netty 版本。 您在 Classpath 上有多個版本。 只需使用 4.1.72.Final