[英]Large scheduler delay in Apache Spark tasks using deploy mode cluster
使用带有--master yarn --deploy-mode cluster spark-submit命令会导致更大的调度程序延迟，而不是使用--master yarn --deploy-mode client 。
任务表现结果截图：
这主要涉及在RDD上调用collect操作的作业。
在client模式下启动的spark应用程序大约需要3到4分钟，而cluster模式需要6到7分钟。 阶段中每个任务的大小小于100 KB。 Cluster有8个数据节点，运行Cloudera Manager 5.9.0
针对这种特殊情况的解决方案。 问题是由群集基础结构中的以太网电缆损坏引起的。 更换后，时间大大减少了。
Apache Spark独立调度程序-为什么驱动程序在“群集”模式下需要整个核心？
[英]apache spark standalone scheduler - why does driver need a whole core in 'cluster' mode?
Spark YARN群集模式出现此错误“找不到或加载主类org.apache.spark.deploy.yarn.ApplicationMaster”
[英]Spark YARN Cluster mode get this error “Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster”
Apache Spark / Cassandra集群上的分区过多（任务过多）
[英]Excessive partitioning (too many tasks) on Apache Spark/Cassandra cluster
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
