Apache Spark Executors Dead - 这是预期的行为吗？
[英]Apache Spark Executors Dead - is this the expected behaviour?
问题描述
我正在运行一个管道来处理我在 Spark 上的数据。 当我的 Executors 接近存储内存限制时，他们似乎时不时地死去。 工作继续并最终完成，但这是正常行为吗？ 我应该做些什么来防止这种情况发生？ 每次发生这种情况时，作业都会挂起一段时间，直到（我在这里猜测）YARN 为作业提供了一些新的执行程序以继续。
1 个解决方案
解决方案1
1 2019-05-10 06:46:08
我认为这与 Yarn 错误有关。 在我设置了以下 YARN 选项（如本博文第 4 节中建议的那样）后，它不再发生
最佳实践 5：始终将虚拟和物理内存检查标志设置为 false。
"yarn.nodemanager.vmem-check-enabled":"false",
"yarn.nodemanager.pmem-check-enabled":"false"
Jupyter笔记本执行器是否在Apache Spark中动态分发？
[英]Are Jupyter notebook executors distributed dynamically in Apache Spark?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.