如何捕捉火花異常並采取措施？

Question

將數據保存到hdfs時如何捕獲異常並在catch塊中執行某些操作失敗。 像這樣：

try {
    item.map(                    
       r => doSome(r).saveAsTextFiles(outputPath + "/data")
} catch {
      case e: Exception => {
      val failMessage = "Exception from output part" + e.getClass + "\t" + e.getMessage
      println("The exception is executed")
      update(aaa)
      }
} finally {
      mc.close()
}

當保存動作引發異常時，我想更新某些狀態。 怎么做 ？

Answer 1

使用NonFatal希望它能解決您的問題

import scala.util.control.NonFatal

try {
    item.map(                    
       r => doSome(r).saveAsTextFiles(outputPath + "/data")
} catch {
  case NonFatal(error) => {
     val failMessage = s"Exception from output part $error"
     println("The exception is executed")
     update(aaa)
  }
} finally {
      mc.close()
}