當我嘗試在 Scala 中運行 John Snow spark-nlp 示例時，出現“任務不可序列化”

Question

我一直在嘗試從這個存儲庫運行 John Snow Spark-NLP 示例：

https://github.com/JohnSnowLabs/spark-nlp/blob/master/example/src/TrainViveknSentiment.scala

在我的本地機器上。 但是當它到達堆棧中的val sparkPipeline = pipeline.fit(training)時，它會拋出org.apache.spark.SparkException: Task not serializable錯誤，它還說Caused by: java.io.NotSerializableException: com.johnsnowlabs.nlp.annotators.param.AnnotatorParam$SerializableFormat$

Answer 1

我可能是錯的，但據我所知，Seq 可能是一個不可序列化的特征。 因此，使用 Array 或 List 來構建不可變變量訓練應該可以解決問題。