使用for for循環廣播期間Spark任務序列化錯誤

Question

我正在嘗試在spark中的for循環中廣播變量。 在此過程中，spark引發了任務而不是可序列化的錯誤。 如果從for循環中廣播相同的變量，則沒有錯誤。 以下是引發錯誤的代碼段。 任何幫助表示贊賞。

var Final = computedRDD.filter(x => x.Id == uniqueKey(0))

for (partId <- uniqueKey) {
      val FinalBroadcast = sc.broadcast(Final.collect)
      val computeNew = computedRDD.filter(x => x.partId == partId).repartition(executors).mapPartitions(performFinalPass(FinalBroadcast))
      computeNew.collect.forall(x => Final.add(x))
}