如何在kubernetes集群中自动缩放Spark作业
[英]how to auto scale spark job in kubernetes cluster
问题描述
需要有关运行spark / kubernetes的建议。 我有Spark 2.3.0，它带有本地kubernetes支持。 我正在尝试使用spark-submit和主参数“ kubernetes-apiserver：port”以及其他必需的参数（例如spark image和此处提到的其他参数）运行spark作业。 如何启用自动缩放/根据负载增加工作节点数？ 有没有我可以遵循的样本文件？ 一些基本的示例/文档将非常有帮助。 或者是否有其他方法可以在kubernetes上部署Spark，这可以帮助我实现基于负载的自动扩展。
1 个解决方案
解决方案1
0 2019-06-16 12:28:51
基本上，Apache Spark 2.3.0并不正式支持K8S集群上的自动缩放，正如您在2.3.0之后的未来工作中所看到的。
顺便说一句，它仍然是一个正在开发中的功能，但是您可以尝试使用Spark 2.2的k8s fork
如何通过火花提交作业以在minikube创建的本地kubernetes上触发集群
[英]how to spark-submit job to spark cluster on local kubernetes created by minikube
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.