![](/img/trans.png)
[英]Spark 0.9.0: worker keeps dying in standalone mode when job fails
[英]Exception when running Spark job server in spark standalone mode
我正在尝试Spark作业服务器 -特别是docker容器选项。 我能够在Spark本地模式下运行WordCountExample应用程序。 但是,当我尝试将应用程序指向远程Spark master时遇到了异常。
以下是我用来运行WordCountExample应用程序的命令:
1. sudo docker run -d -p 8090:8090 -e SPARK_MASTER=spark://10.501.502.503:7077 velvia/spark-jobserver:0.6.0
2. sbt job-server-tests/package
3. curl --data-binary @job-server-tests/target/scala-2.10/job-server-tests_2.10-0.6.2-SNAPSHOT.jar localhost:8090/jars/test
4. curl -d "input.string = a b c a b see" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample'
以下是我执行上述第4步时遇到的异常:
{
"status": "ERROR",
"result": {
"message": "Futures timed out after [15 seconds]",
"errorClass": "java.util.concurrent.TimeoutException",
"stack": ["scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)", "scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)", "scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread$$anon$3.block(ThreadPoolBuilder.scala:169)", "scala.concurrent.forkjoin.ForkJoinPool.managedBlock(ForkJoinPool.java:3640)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread.blockOn(ThreadPoolBuilder.scala:167)", "akka.dispatch.BatchingExecutor$Batch.blockOn(BatchingExecutor.scala:101)", "scala.concurrent.Await$.result(package.scala:107)", ...
我使用以下命令启动了远程Spark集群(主要和工作人员)
cd $SPARK_HOME
./sbin/start-all.sh
远程集群使用Spark version 1.5.1
(即,预构建的二进制spark-1.5.1-bin-hadoop2.6
)
问题
提前致谢。
这可能是网络问题。 应该可以从Spark集群访问SJS服务器。
我在spark 1.6.1中遇到了同样的问题。 我将jobserver版本更改为最新版本(0.6.2.mesos-0.28.1.spark-1.6.1),它对我有用。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.