尝试在 mapPartitionsWithIndex 中广播时出现 NullPointerException

Question

我正在尝试在mapPartitionsWithIndex function 中广播数组，但这会引发 NullPointerException。 这是我的代码

var bestSolutions = bcWrapper(sc, (Array(): Array[BAT1], 3: Int)) //
  rdd.mapPartitionsWithIndex { (index, iterator) =>
    var li = iterator.toArray
    var arr1 = arr.sortWith(_ < _).take(5)
    val selected = (arr1, index)
    bestSolutions.update(selected)
  }

bcWrapper的定义是

case class bcWrapper[T: ClassTag](@transient sc: SparkContext,
                                    @transient _v: T)
      extends Serializable {

    var broadcasted: Broadcast[T] = sc.broadcast(_v)
    def update(v: T): Unit = {
      try {
        broadcasted.destroy()
      } catch {
        case e: Throwable =>
          println("broadcast cannot be destroyed", e)
      }
      broadcasted = sc.broadcast(v)
    }
    def value: T = broadcasted.value
  }

当我调用bcWrapper class 的更新function 时，代码抛出异常。 我该如何解决这个问题？

Answer 1

您不应该从map / mapPartitions代码更新或销毁广播的 object。 只读它。 你想解决什么问题？