![](/img/trans.png)
[英]Spark Streaming stateful transformation mapWithState function getting error java.util.NoSuchElementException: None.get
[英]Scala Spark Job in Dataproc cluster returns java.util.NoSuchElementException: None.get
我得到錯誤
ERROR org.apache.spark.executor.Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.util.NoSuchElementException: None.get
當我使用 Dataproc 集群運行我的作業時,當我在本地運行它時,它運行完美。 我使用以下玩具示例重新創建了該問題。
package com.deequ_unit_tests
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession
object reduce_by_key_example {def main(args: Array[String]): Unit = {
// Set the log level to only print errors
Logger.getLogger("org").setLevel(Level.ERROR)
val spark: SparkSession = SparkSession.builder()
.master("local[1]")
.appName("SparkByExamples.com")
.getOrCreate()
println("Step 1")
val data = Seq(("Project", 1),
("Gutenberg’s", 1),
("Alice’s", 1),
("Adventures", 1),
("in", 1),
("Wonderland", 1),
("Project", 1),
("Gutenberg’s", 1),
("Adventures", 1),
("in", 1),
("Wonderland", 1),
("Project", 1),
("Gutenberg’s", 1))
println("Step 2")
val rdd = spark.sparkContext.parallelize(data)
println("Step 3")
val rdd2 = rdd.reduceByKey(_ + _)
println("Step 4")
rdd2.foreach(println)
}
}
當我在 Dataproc 中運行此作業時,執行該行時出現此錯誤
rdd2.foreach(println)
作為附加信息,我不得不說,在我公司的 Dataproc 集群中應用了一些更改之前,我沒有收到此錯誤。 對於使用 PySpark 的同事,與上面示例的 Pyspark 中的等效版本,更改
sc = SparkContext('local')
至
sc = SparkContext()
成功了,但我在 Spark Scala 中找不到等效的解決方案。 您對可能導致此問題的原因有任何想法嗎? 歡迎任何幫助。
在腳本中添加提供的 scope:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>stackOverFlowGcp</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.3</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.2.3</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.typesafe</groupId>
<artifactId>config</artifactId>
<version>1.4.0</version>
<scope>provided</scope>
</dependency>
</dependencies>
<build>
<plugins>
<!-- Maven Plugin -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
<!-- assembly Maven Plugin -->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>mainPackage.mainObject</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
package mainPackage
import org.apache.spark.sql.SparkSession
object mainObject {
def main(args: Array[String]): Unit = {
val spark: SparkSession = SparkSession.builder()
//.master("local[*]")
.appName("SparkByExamples")
.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")
println("Step 1")
val data = Seq(("Project", 1),
("Gutenberg’s", 1),
("Alice’s", 1),
("Adventures", 1),
("in", 1),
("Wonderland", 1),
("Project", 1),
("Gutenberg’s", 1),
("Adventures", 1),
("in", 1),
("Wonderland", 1),
("Project", 1),
("Gutenberg’s", 1))
println("Step 2")
val rdd = spark.sparkContext.parallelize(data)
println("Step 3")
val rdd2 = rdd.reduceByKey(_ + _)
println("Step 4")
rdd2.foreach(println)
}
}
在 dataproc 中,您不會看到前面提到的結果,如果您想了解更多關於 Dataproc 方法的信息。 但是,如果您願意,可以在 dataproc 中顯示 dataframe。
正如您在 dataproc 中看到的,每件事都運行良好。 完成后不要忘記關閉集群或將其刪除;)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.