火花容器手動配置

Question

我一直試圖在Hadoop上運行Spark以運行應用程序，但是一切似乎都很好，並且我使應用程序成功，但是當O看到應用程序跟蹤Spark的UI時，它僅向節點顯示具有4節點群集的容器（包括主人）。 我無法將每個節點配置為具有一個群集。

請協助解決

• 應用程序UI

  

• Spark UI

  

• Spark conf文件

  

Answer 1

當Spark將作業提交給YARN資源管理器時，它會根據數據大小，分區，數據位置以及相應的執行者數量來制定邏輯和物理執行計划，並且這些計划都會自動發生。 您仍然可以配置必需的執行程序編號，但是可以在單個節點中運行，也可以在群集中的不同節點中運行，也可以在特定節點中運行它們，這取決於您提交的數據位置和作業類型。 您不能指示YARN在群集中所有節點上運行所有執行程序，但是如果您有非常大的數據集和復雜的轉換，它將自動使用節點中的所有群集。

閱讀更多