从HDInsight群集头节点运行Spark应用程序

Question

我正在尝试使用命令从Azure HDInsight群集的头节点运行spark scala应用程序

火花提交--class com.test.spark.Wordcount SparkJob1.jar wasbs：// 容器名称 @ <storageaccountname> /sample.sas7bdat wasbs：// 容器名称 @ <storageaccountname> /sample.csv

我正在接受它的例外。

由以下原因导致：java.lang.ClassCastException：无法将scala.collection.immutable.List $ SerializationProxy的实例分配给scala类型的字段org.apache.spark.rdd.RDD.org $ apache $ spark $ rdd $ RDD $$ dependencies_。 org.apache.spark.rdd.MapPartitionsRDD实例中的collection.Seq

如果我从Azure数据工厂调用，则同一个jar文件正在工作。 我是否缺少使用spark-submit命令进行的某些配置？

Answer 1

通常，这是由您关于类型转换的代码逻辑引起的。 有一个类似的SO线程如何解决java.lang.ClassCastException：无法将scala.collection.immutable.List实例分配给字段类型scala.collection.Seq？ 已经回答了这些问题，我想您可以参考它并检查您的代码以解决问题。