当没有作业正在运行时，是否可以让 Dataproc 集群自动缩减到 0 个工作器？

Question

我知道最好的做法是在不使用时删除集群并在运行作业时启动一个集群，但我想知道我们是否可以让“集群”24/7 全天候运行，但在没有正在运行的作业（或在一段时间没有活动之后），然后在启动作业时再次自动扩展？

Answer 1

这不受支持。 您只能在单节点集群中拥有零个工作器，但它们不能具有自动缩放策略。 一个自动缩放集群必须至少有 2 个主要工作线程。

Answer 2

我不是 Hadoop 方面的专家，但 AFAIK，它用于分布式存储和处理。 事实是，如果缩放到 0，就会丢失存储空间。

在这种情况下，最好自动删除集群并自动创建集群（例如使用 Terraform）。