在 spark yarn 集群模式下使用超過 1 個驅動核有什么好處？

Question

在 spark yarn cluster 模式下使用 1 vs 2 driver core 有什么區別？ 如果我在 yarn cluster 模式下使用 2 個驅動核心，那么 spark 驅動程序將在失敗時重新啟動？ 如果是這樣，在失敗之前會重試多少次？

感謝是否有人可以分享這方面的任何文章？

Answer 1

當您以 YARN 集群模式啟動應用程序時，它將為您的驅動程序創建容器。

這個容器——取決於你的應用程序——可能需要多個內核和 memory 的多個演出。這完全取決於有多少會話將同時連接到你的 Spark 應用程序以及你的查詢的復雜性。

如果看起來您的查詢編譯緩慢或您的 Spark Web UI/應用程序掛起，增加核心數可能是值得的。

從YARN來看，仍然只有一個driver container。