java.lang.VerifyError: 操作數棧溢出

Question

試圖從 spark 連接到 grpc。 它在我的本地工作正常，但在 AWS EMR 中測試時（在完成 sbt 組裝后）- 與 emr 中的 spark package 發生沖突，因此將 spark 中已經存在的庫着色

assembly / assemblyShadeRules  := Seq(
  ShadeRule.rename("io.grpc.**" -> "shade.io.grpc.@1").inAll,
  ShadeRule.rename("io.netty.**" -> "shade.io.netty.@1").inAll,
  ShadeRule.rename("com.google.protobuf.**" -> "shade.com.google.protobuf.@1").inAll,
  ShadeRule.rename("com.google.common.**" -> "shade.com.google.common.@1").inAll
)

使用 Spark 版本：3.1.1 scala 版本：2.12.10 sbt 版本：1.6.2 AWS EMR 版本：6.3.1 Java 版本：8 這些是我們得到的錯誤：

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 6.0 failed 4 times, most recent failure: Lost task 2.3 in stage 6.0 (TID 27) (ip-10-50-133-143.ec2.internal executor 2): java.lang.VerifyError: Operand stack overflow
Exception Details:
  Location:

        shade/io/grpc/internal/TransportTracer.getStats()Lshade/io/grpc/InternalChannelz$TransportStats; @102: lload_3
      Reason:
        Exceeded max stack size.
      Current Frame:
        bci: @102
        flags: { }
        locals: { 'shade/io/grpc/internal/TransportTracer', long, long_2nd, long, long_2nd }
        stack: { uninitialized 52, uninitialized 52, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd, long, long_2nd }
      Bytecode:
        0x0000000: 2ab4 0041 c700 0914 0042 a700 0f2a b400
        0x0000010: 41b9 0047 0100 b400 4a40 2ab4 0041 c700
        0x0000020: 0914 0042 a700 0f2a b400 41b9 0047 0100
        0x0000030: b400 4d42 bb00 1259 2ab4 004f 2ab4 0051
        0x0000040: 2ab4 0053 2ab4 0055 2ab4 0057 2ab4 0059
        0x0000050: 2ab4 0033 b900 5f01 002a b400 612a b400
        0x0000060: 632a b400 651f 21b7 0068 b0            
      Stackmap Table:
        same_frame(@13)
        same_locals_1_stack_item_frame(@25,Long)
        append_frame(@39,Long)
        same_locals_1_stack_item_frame(@51,Long)

Answer 1

您使用的是什么版本的sbt-assembly ？ 一些着色錯誤已得到修復，因此請確保您使用的是最新版本（當前為 2.0.0）。 我已經看到過時的插件版本非常相似的異常。