是否在执行程序中的JVM进程启动之前获取spark.files？
[英]Are spark.files fetched before JVM process starts in executors?
问题描述
在具有Mesos和dockerized执行程序的环境中，如果设置了spark.files配置参数，是否在每个执行程序的JVM进程启动之前将这些文件添加到docker？
1 个解决方案
解决方案1
0 2019-06-04 03:43:54
spark.files是Spark JVM运行程序解析的CLI选项，因此在下载文件之前启动容器
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark Kubernetes - 使用 --files 或 spark.files 将配置文件从驱动程序复制到执行程序时出现 FileNotFoundException - Spark Kubernetes - FileNotFoundException when copying config files from driver to executors using --files or spark.files
Spark：spark.files vs文件 - Spark: spark.files vs files
可以在已经运行的java进程中生成Spark执行程序（Ignite JVM） - Can Spark executors be spawned in already running java process (Ignite JVM)
如何在YARN上启动Spark应用程序之前等待所有执行程序分配？ - How to wait until all executors are allocated before Spark application starts on YARN?
在向执行者提交工作之前引发了长时间的延迟 - spark long delay before submitting jobs to the executors
如何单独处理Kafka分区并与Spark执行器并行处理？ - How to process Kafka partitions separately and in parallel with Spark executors?
如何增加处理Spark Streaming / Kafka中某个阶段的执行程序的数量？ - How to increase the number of executors that process a certain stage in Spark Streaming/Kafka?
Spark执行器-它们是Java进程吗？ - Spark Executors - Are they java processes?
启动执行程序的火花机制 - Spark mechanism of launching executors
增加齐柏林飞艇上的Spark执行器 - Increase Spark Executors on Zeppelin
相关标签